LangSmith LLM網關：為生產環境中的AI代理提供運行時控制

LangSmith LLM網關：為生產環境中的AI代理提供運行時控制

2026年7月30日

關鍵要點

• 避免供應商鎖定——一個網關即可同時支持閉源和開放權重模型，集中控制，並靈活更換模型提供商。
• 在運行時控制成本和可靠性——設置支出和速率限制，跟蹤使用情況，並在任何模型、提供商或主機上配置模型回退。
• 通過編輯保護敏感數據——從模型調用中編輯PII和機密等敏感數據，防止敏感數據發送給模型提供商。

LangSmith LLM網關現已公開測試。

生產環境中的代理需要對模型調用進行運行時控制，以避免成本超支和中斷等不良後果。支出上限、速率限制、模型回退和敏感數據保護都是重要的控制措施，但如果沒有合適的工具，工程師必須為每個代理手動編寫這些控制邏輯，且針對不同的模型提供商重複勞動。

這就是我們構建LangSmith LLM網關的原因。它是位於代理與其調用的模型之間的集中治理層，專為代理工程團隊在生產環境中需要的控制而設計。LLM網關為團隊提供了一個統一的位置，用於跨代理、模型和提供商強制執行運行時控制，幫助一致地管理模型使用，同時避免供應商鎖定。

立即嘗試公開測試版

為什麼代理需要集中治理層

在生產環境中，模型層可能迅速成為代價高昂的錯誤和麪向客户的故障的根源。以下是一些實際情況：您的模型提供商遭遇中斷，導致客户服務代理返回錯誤，引發客户不滿和收入損失。或者，您的編碼代理陷入一夜的重試循環，到早上已經進行了10,000次LLM調用，您收到一張四位數的賬單。

在這些情況下，事後瞭解發生了什麼還不夠。您需要在違規發生之前強制執行策略。但是，如果控制邏輯嵌入在每個代理的代碼中，每個新代理和模型提供商都會增加一個需要維護的實現路徑。模型網關允許團隊一次性定義策略，然後在模型和代理之間一致執行。

LLM網關的控制功能

LLM網關提供團隊在代理投入生產時最需要的控制：成本控制、速率限制、模型回退和敏感數據處理。

避免成本超支：LLM網關允許您在問題出現之前監控和控制內部及外部用户的LLM支出。您可以設置時間限制的上限，並在四個級別跟蹤支出：

• 組織級別——用於公司範圍的控制
• 工作區級別——使團隊保持在支出限制內
• API密鑰級別——用於控制特定項目的支出
• 用户級別——用於個人支出控制

當達到上限時，代理會收到一個帶有明確錯誤信息的402響應。

限制失控流量：在組織、工作區、用户和API密鑰級別應用速率限制，以防止意外濫用或流量激增超出提供商限制，並避免影響其他代理或團隊的可靠性。

針對客户的支出和速率限制策略：對於多租户環境和經銷商，LLM網關提供客户級別的控制，而無需客户特定的API密鑰。使用自定義請求標頭識別每個最終客户或團隊，然後強制執行單獨的支出上限和速率限制，同時通過一個API密鑰路由所有LLM調用。您可以在一處更新限制並檢查跨客户的支出，而無需自己構建和維護該邏輯。

提高代理可靠性：跨模型和主機定義回退規則，然後為所有應用程序強制執行。當提供商宕機、速率受限或不可用時，代理可以路由到另一個模型，而無需在每個應用程序中自定義回退邏輯。

減少敏感數據暴露：在請求到達模型提供商之前檢測、編輯並替換PII和機密。LLM網關還會從其在LangSmith中記錄的跟蹤中編輯敏感數據。目前，此功能僅對企業計劃用户可用。

在LangSmith中跟蹤LLM網關事件：網關事件作為元數據記錄在LangSmith跟蹤中，因此您可以監控控制功能在生產流量中的表現。當請求因支出限制、速率限制或其他控制而被阻止時，您可以打開跟蹤以檢查上下文中發生了什麼，並決定是否需要更改。

保留模型選擇權

LLM網關提供了一個統一的接口，用於在代理和模型提供商之間路由調用。它支持流行的提供商如OpenAI、Anthropic和Fireworks，以及具有OpenAI或Anthropic兼容端點的自定義模型。

LangSmith網關是BYOK優先的。您可以自帶提供商密鑰，並使用LLM網關進行路由、治理和策略控制，而無需為每個LLM調用添加額外的儀器。對於希望簡化採購或更快開始構建代理的團隊，網關還支持由Fireworks驅動的開放模型的託管推理，可直接通過LangSmith使用Gateway Credits。Fireworks為開放模型提供快速高效的推理，幫助團隊通過LangSmith LLM網關將其投入生產。

我們相信開放權重模型很重要，因為它們為團隊提供了對AI系統的更多控制。它們使團隊能夠靈活地優化成本、質量、延遲、隱私和部署需求，並根據業務的具體情況調整模型。網關是我們讓開放模型在生產中更容易採用的一種方式。

“開放模型已經提供了團隊在生產AI中所需的性能。下一步是讓它們在代理工作流中更容易採用，團隊需要控制成本、延遲和治理。Fireworks讓開放模型推理快速、高效且可靠地擴展，我們很高興與LangChain合作推出LangSmith LLM網關，幫助團隊將這種性能投入生產。” ——林喬，Fireworks首席執行官

團隊如何在生產中使用LLM網關

團隊已經在使用LLM網關為生產代理設置硬限制和共享控制。一些常見模式包括需要支出上限的面向公眾的代理，以及需要集中計費、使用跟蹤和客户限制的多客户代理。

“LLM網關幫助我們集中了Deep Agents的計費和成本跟蹤，使我們能夠了解每個客户的使用情況和限制。集成非常簡單，為我們擴展代理提供了所需的可觀測性。” ——肖恩·裏奇，Blueberry AI聯合創始人兼CTO

“每個生產代理都需要一個硬支出上限，尤其是面向公眾的代理，LLM網關通過確保成本永遠不會超過我們設定的限制，消除了這一風險。現在我們可以與客户坐下來，就支出及其支持的任何政策達成一致，並在幾次點擊內完成所有配置。” ——希爾克·西貝斯馬，Friday Digital Agency AI工程師

LLM網關入門

您可以直接通過API調用LLM網關，或與編碼工具如Claude Code、Codex和Deep Agents Code（dcode）一起使用。

要開始使用，將代理指向LangSmith網關端點，使用LangSmith API密鑰進行身份驗證，並將提供商API密鑰添加到工作區密鑰中。然後，配置回退、速率限制、支出限制和敏感數據處理的控制。更新base_url，其餘代碼保持不變。

LLM網關的未來方向

我們從LLM網關開始，提供了團隊在代理投入生產時最需要的控制。接下來，我們將擴展這一基礎，增加更多治理模型調用的方式。

更廣泛的護欄——更全面地覆蓋代理調用外部模型和與生產系統交互所帶來的風險。

CI/CD控制——部署提示和上下文的工具，運行A/B測試，管理藍綠部署和影子部署，並通過基礎設施即代碼定義控制。

立即嘗試

LLM網關現已面向Plus和企業計劃用户公開測試。

登錄LangSmith或註冊，然後在側邊欄中選擇“LLM網關”即可開始。您可以在我們的文檔中找到設置細節。

企業計劃用户可以在此處申請訪問數據保護控制。

瞭解您的代理真正在做什麼

我們的代理工程平台LangSmith幫助開發者調試每個代理決策，評估更改，並可一鍵部署。

嘗試LangSmith

獲取演示