LangSmith LLM閘道器：為生產環境中的AI代理提供執行時控制

LangSmith LLM閘道器：為生產環境中的AI代理提供執行時控制

2026年7月30日

關鍵要點

• 避免供應商鎖定——一個閘道器即可同時支援閉源和開放權重模型，集中控制，並靈活更換模型提供商。
• 在執行時控制成本和可靠性——設定支出和速率限制，跟蹤使用情況，並在任何模型、提供商或主機上配置模型回退。
• 透過編輯保護敏感資料——從模型呼叫中編輯PII和機密等敏感資料，防止敏感資料傳送給模型提供商。

LangSmith LLM閘道器現已公開測試。

生產環境中的代理需要對模型呼叫進行執行時控制，以避免成本超支和中斷等不良後果。支出上限、速率限制、模型回退和敏感資料保護都是重要的控制措施，但如果沒有合適的工具，工程師必須為每個代理手動編寫這些控制邏輯，且針對不同的模型提供商重複勞動。

這就是我們構建LangSmith LLM閘道器的原因。它是位於代理與其呼叫的模型之間的集中治理層，專為代理工程團隊在生產環境中需要的控制而設計。LLM閘道器為團隊提供了一個統一的位置，用於跨代理、模型和提供商強制執行執行時控制，幫助一致地管理模型使用，同時避免供應商鎖定。

立即嘗試公開測試版

為什麼代理需要集中治理層

在生產環境中，模型層可能迅速成為代價高昂的錯誤和麵向客戶的故障的根源。以下是一些實際情況：您的模型提供商遭遇中斷，導致客戶服務代理返回錯誤，引發客戶不滿和收入損失。或者，您的編碼代理陷入一夜的重試迴圈，到早上已經進行了10,000次LLM呼叫，您收到一張四位數的賬單。

在這些情況下，事後瞭解發生了什麼還不夠。您需要在違規發生之前強制執行策略。但是，如果控制邏輯嵌入在每個代理的程式碼中，每個新代理和模型提供商都會增加一個需要維護的實現路徑。模型閘道器允許團隊一次性定義策略，然後在模型和代理之間一致執行。

LLM閘道器的控制功能

LLM閘道器提供團隊在代理投入生產時最需要的控制：成本控制、速率限制、模型回退和敏感資料處理。

避免成本超支：LLM閘道器允許您在問題出現之前監控和控制內部及外部使用者的LLM支出。您可以設定時間限制的上限，並在四個級別跟蹤支出：

• 組織級別——用於公司範圍的控制
• 工作區級別——使團隊保持在支出限制內
• API金鑰級別——用於控制特定專案的支出
• 使用者級別——用於個人支出控制

當達到上限時，代理會收到一個帶有明確錯誤資訊的402響應。

限制失控流量：在組織、工作區、使用者和API金鑰級別應用速率限制，以防止意外濫用或流量激增超出提供商限制，並避免影響其他代理或團隊的可靠性。

針對客戶的支出和速率限制策略：對於多租戶環境和經銷商，LLM閘道器提供客戶級別的控制，而無需客戶特定的API金鑰。使用自定義請求標頭識別每個最終客戶或團隊，然後強制執行單獨的支出上限和速率限制，同時透過一個API金鑰路由所有LLM呼叫。您可以在一處更新限制並檢查跨客戶的支出，而無需自己構建和維護該邏輯。

提高代理可靠性：跨模型和主機定義回退規則，然後為所有應用程式強制執行。當提供商宕機、速率受限或不可用時，代理可以路由到另一個模型，而無需在每個應用程式中自定義回退邏輯。

減少敏感資料暴露：在請求到達模型提供商之前檢測、編輯並替換PII和機密。LLM閘道器還會從其在LangSmith中記錄的跟蹤中編輯敏感資料。目前，此功能僅對企業計劃使用者可用。

在LangSmith中跟蹤LLM閘道器事件：閘道器事件作為後設資料記錄在LangSmith跟蹤中，因此您可以監控控制功能在生產流量中的表現。當請求因支出限制、速率限制或其他控制而被阻止時，您可以開啟跟蹤以檢查上下文中發生了什麼，並決定是否需要更改。

保留模型選擇權

LLM閘道器提供了一個統一的介面，用於在代理和模型提供商之間路由呼叫。它支援流行的提供商如OpenAI、Anthropic和Fireworks，以及具有OpenAI或Anthropic相容端點的自定義模型。

LangSmith閘道器是BYOK優先的。您可以自帶提供商金鑰，並使用LLM閘道器進行路由、治理和策略控制，而無需為每個LLM呼叫新增額外的儀器。對於希望簡化採購或更快開始構建代理的團隊，閘道器還支援由Fireworks驅動的開放模型的託管推理，可直接透過LangSmith使用Gateway Credits。Fireworks為開放模型提供快速高效的推理，幫助團隊透過LangSmith LLM閘道器將其投入生產。

我們相信開放權重模型很重要，因為它們為團隊提供了對AI系統的更多控制。它們使團隊能夠靈活地最佳化成本、質量、延遲、隱私和部署需求，並根據業務的具體情況調整模型。閘道器是我們讓開放模型在生產中更容易採用的一種方式。

“開放模型已經提供了團隊在生產AI中所需的效能。下一步是讓它們在代理工作流中更容易採用，團隊需要控制成本、延遲和治理。Fireworks讓開放模型推理快速、高效且可靠地擴充套件，我們很高興與LangChain合作推出LangSmith LLM閘道器，幫助團隊將這種效能投入生產。” ——林喬，Fireworks執行長

團隊如何在生產中使用LLM閘道器

團隊已經在使用LLM閘道器為生產代理設定硬限制和共享控制。一些常見模式包括需要支出上限的面向公眾的代理，以及需要集中計費、使用跟蹤和客戶限制的多客戶代理。

“LLM閘道器幫助我們集中了Deep Agents的計費和成本跟蹤，使我們能夠了解每個客戶的使用情況和限制。整合非常簡單，為我們擴充套件代理提供了所需的可觀測性。” ——肖恩·裡奇，Blueberry AI聯合創始人兼CTO

“每個生產代理都需要一個硬支出上限，尤其是面向公眾的代理，LLM閘道器透過確保成本永遠不會超過我們設定的限制，消除了這一風險。現在我們可以與客戶坐下來，就支出及其支援的任何政策達成一致，並在幾次點選內完成所有配置。” ——希爾克·西貝斯馬，Friday Digital Agency AI工程師

LLM閘道器入門

您可以直接透過API呼叫LLM閘道器，或與編碼工具如Claude Code、Codex和Deep Agents Code（dcode）一起使用。

要開始使用，將代理指向LangSmith閘道器端點，使用LangSmith API金鑰進行身份驗證，並將提供商API金鑰新增到工作區金鑰中。然後，配置回退、速率限制、支出限制和敏感資料處理的控制。更新base_url，其餘程式碼保持不變。

LLM閘道器的未來方向

我們從LLM閘道器開始，提供了團隊在代理投入生產時最需要的控制。接下來，我們將擴充套件這一基礎，增加更多治理模型呼叫的方式。

更廣泛的護欄——更全面地覆蓋代理呼叫外部模型和與生產系統互動所帶來的風險。

CI/CD控制——部署提示和上下文的工具，執行A/B測試，管理藍綠部署和影子部署，並透過基礎設施即程式碼定義控制。

立即嘗試

LLM閘道器現已面向Plus和企業計劃使用者公開測試。

登入LangSmith或註冊，然後在側邊欄中選擇“LLM閘道器”即可開始。您可以在我們的文件中找到設定細節。

企業計劃使用者可以在此處申請訪問資料保護控制。

瞭解您的代理真正在做什麼

我們的代理工程平臺LangSmith幫助開發者除錯每個代理決策，評估更改，並可一鍵部署。

嘗試LangSmith

獲取演示