LangSmith LLM網關：內置於代理生命週期中的運行時治理
LangSmith推出LLM網關私有測試版，這是一層運行時治理，可在請求到達模型前強制執行成本限制和敏感數據編輯，並將策略事件直接集成到LangSmith工作區，無需額外工具。
文章情報
要點
- LLM網關位於代理與LLM提供商之間，可強制執行支出限制和PII編輯，從源頭阻止問題。
- 策略違規作為可追蹤事件出現在LangSmith中，便於從阻止的請求到觸發追蹤再到修復。
- 設置只需一行代碼更改：將base_url指向網關端點，在密鑰中添加提供商API密鑰，在UI中設置策略。
- 提供分層強制、審計日誌、實時成本可見性及與LangSmith引擎的集成。
為甚麼重要
這條新聞值得關注，因為LLM網關位於代理與LLM提供商之間，可強制執行支出限制和PII編輯，從源頭阻止問題。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
LangSmith今日宣佈推出LLM網關私有測試版，這是一層運行時治理，內置於開發者構建、觀察和評估代理的LangSmith環境中。LLM網關位於代理與它們調用的LLM提供商之間，在請求到達模型前強制執行成本限制和敏感數據編輯。當策略觸發時，事件直接流入LangSmith，無需單獨的儀表板、審計日誌或工具。開發者可以從被阻止的請求直接跳轉到觸發它的追蹤，再進行修復，這一切都在同一個產品中完成。
LLM網關解決了可觀測性與強制執行之間的差距。例如，一個編碼代理在夜間陷入重試循環，到早晨已進行了10,000次LLM調用，導致四位數賬單。或者，客户支持代理在處理退款請求時包含社保號碼，該號碼可能已存在於提供商日誌、追蹤數據及任何下游系統中。可觀測性只能告訴你發生了什麼，而LLM網關能在問題發生前阻止它們。
當前測試版包含以下功能：支出限制（在組織、工作區、用户或API密鑰級別設置上限，超標時返回402錯誤）、實時成本彙總、PII和機密檢測（在請求和響應中編輯敏感數據）、追蹤連續性（通過網關的調用仍出現在同一LangSmith工作區）、LangSmith引擎集成（策略事件可用於分類）、審計日誌（記錄所有管理操作）以及分層強制。
設置過程非常簡單：將代理指向LangSmith網關端點，使用LangSmith API密鑰；將提供商API密鑰添加到工作區密鑰；在LangSmith UI中設置策略。只需更改base_url，無需修改代碼。
LLM網關與代理框架本身緊密集成，策略事件與追蹤、評估和儀表板出現在同一工作區。這使得檢測、調查和修復都在構建代理的同一表面進行。與網絡層網關、獨立護欄平台或數據平台治理層不同，LLM網關錨定於代理框架，無需在多個工具間切換。
未來計劃包括更深層次的安全控制（超越PII和機密檢測）、靈活執行（軟發佈、模型回退、速率限制）以及工具和MCP網關（將相同原語應用於工具調用、代理間調用和MCP服務器交互）。LLM網關現在以私有測試版提供，可申請訪問。