LangSmith LLM閘道器：內建於代理生命週期中的執行時治理
LangSmith推出LLM閘道器私有測試版，這是一層執行時治理，可在請求到達模型前強制執行成本限制和敏感資料編輯，並將策略事件直接整合到LangSmith工作區，無需額外工具。
文章情報
要點
- LLM閘道器位於代理與LLM提供商之間，可強制執行支出限制和PII編輯，從源頭阻止問題。
- 策略違規作為可追蹤事件出現在LangSmith中，便於從阻止的請求到觸發追蹤再到修復。
- 設定只需一行程式碼更改：將base_url指向閘道器端點，在金鑰中新增提供商API金鑰，在UI中設定策略。
- 提供分層強制、審計日誌、即時成本可見性及與LangSmith引擎的整合。
為什麼重要
這條新聞值得關注，因為LLM閘道器位於代理與LLM提供商之間，可強制執行支出限制和PII編輯，從源頭阻止問題。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
LangSmith今日宣佈推出LLM閘道器私有測試版，這是一層執行時治理，內建於開發者構建、觀察和評估代理的LangSmith環境中。LLM閘道器位於代理與它們呼叫的LLM提供商之間，在請求到達模型前強制執行成本限制和敏感資料編輯。當策略觸發時，事件直接流入LangSmith，無需單獨的儀表板、審計日誌或工具。開發者可以從被阻止的請求直接跳轉到觸發它的追蹤，再進行修復，這一切都在同一個產品中完成。
LLM閘道器解決了可觀測性與強制執行之間的差距。例如，一個編碼代理在夜間陷入重試迴圈，到早晨已進行了10,000次LLM呼叫，導致四位數賬單。或者，客戶支援代理在處理退款請求時包含社保號碼，該號碼可能已存在於提供商日誌、追蹤資料及任何下游系統中。可觀測性只能告訴你發生了什麼，而LLM閘道器能在問題發生前阻止它們。
當前測試版包含以下功能：支出限制（在組織、工作區、使用者或API金鑰級別設定上限，超標時返回402錯誤）、即時成本彙總、PII和機密檢測（在請求和響應中編輯敏感資料）、追蹤連續性（透過閘道器的呼叫仍出現在同一LangSmith工作區）、LangSmith引擎整合（策略事件可用於分類）、審計日誌（記錄所有管理操作）以及分層強制。
設定過程非常簡單：將代理指向LangSmith閘道器端點，使用LangSmith API金鑰；將提供商API金鑰新增到工作區金鑰；在LangSmith UI中設定策略。只需更改base_url，無需修改程式碼。
LLM閘道器與代理框架本身緊密整合，策略事件與追蹤、評估和儀表板出現在同一工作區。這使得檢測、調查和修復都在構建代理的同一表面進行。與網路層閘道器、獨立護欄平臺或資料平臺治理層不同，LLM閘道器錨定於代理框架，無需在多個工具間切換。
未來計劃包括更深層次的安全控制（超越PII和機密檢測）、靈活執行（軟釋出、模型回退、速率限制）以及工具和MCP閘道器（將相同原語應用於工具呼叫、代理間呼叫和MCP伺服器互動）。LLM閘道器現在以私有測試版提供，可申請訪問。