LangChain如何讓編碼助手成本變得可預測

過去幾年，AI使用的成本在預算中很容易被忽視。在LangChain，模型使用主要侷限於少數團隊，用量可預測，月度賬單可控。然而，去年情況發生了改變：AI使用從少數團隊擴充套件到全公司，最先進的模型變得更昂貴，而代理（Agent）的強大使得完成單個任務就能輕易觸發數十次模型呼叫。結果，AI支出變得難以理解，也難以即時控制。

這一問題在工程部門表現得最為突出。一名重度使用編碼助手的開發者每週可能產生數千美元的費用，而其他人卻毫無察覺。領導層需要一種方式，能夠即時檢視支出、按團隊和使用者設定限制，並防止意外失控的用量，同時不阻礙高效工作。

為此，LangChain將LangSmith LLM閘道器直接整合到日常使用的產品中。其直接目標是防止編碼助手的意外失控支出，讓工程副總裁和財務主管都能安心。在LangSmith LLM閘道器中，預算可以按多個維度設定：組織層面、工作區、使用者、API金鑰。我們為每個員工設定了月、周、日、小時的預設預算，併為需要更高用量的專案人員提供例外。

閘道器已在全公司範圍內應用於所有編碼助手——透過Claude Code、Codex或LangChain Deep Agents。所有符合條件的編碼助手呼叫都透過LLM閘道器執行，使工程領導層能夠每分鐘檢視全公司的支出概覽。同時，我們透過MDM集中編排，確保每個使用者無需自行配置。

“閘道器的好處在於，透過集中控制，我可以更確信不會在開啟儀表板時看到一份令人驚訝的數千美元賬單。我可以看到限制和支出，並有一箇中央關閉/控制點。”——Alex Lunev，LangChain工程副總裁

將成本控制與LangSmith堆疊的其餘部分連線起來，閘道器的效用最大化。由於LangSmith LLM閘道器是LangSmith的一部分，支出控制與我們管理AI應用的現有系統相連。閘道器執行可被追蹤、歸因於使用者或金鑰，並與生產資料一起分析。這意味著成本資料不再侷限於月度賬單。我們可以將支出與特定代理、模型呼叫、追蹤和故障模式關聯起來。我們還可以使用LangSmith現有的OAuth、模型管理和使用者管理控制，無需圍繞獨立代理重建這些工作流。

這也使閘道器資料更具可操作性。當編碼助手支出超出預期時，我們可以檢查追蹤，瞭解發生了什麼，並使用評估和可觀察性資料來改進底層代理行為。

內部部署讓我們學到了三個教訓，並塑造了產品後續的發展方向：第一，模型定價比靜態表格複雜得多。查詢表很快就會過時，準確的成本核算必須吸收快取、令牌層級細微差別和頻繁的提供商價格變化。這促使我們將模型定價視為一個系統而非常數。第二，並非每個客戶端都能順利透過閘道器路由，支援程度因應用和管理方式而異。我們採取的方法是透過測量閘道器捕獲的內容與其餘企業提供商設定（如月度Claude計劃）捕獲的內容之間的差異，以確保即使在流量無法直接透過閘道器時也能核算支出。第三，硬限制需要配套工作流。工程師們希望能在達到限制前收到早期警告，並有一條快速、可審計的提限途徑。這促使我們將限制從靜態護欄轉變為工作流：我們在閾值之前新增分層告警，並探索有紙質記錄的預算增加請求流程，以使支出控制既能保護業務又不會妨礙工作。

結果，自從內部部署LangSmith LLM閘道器以來，我們的LLM成本一直控制在預算內。更大的變化是，支出不再是月底才能瞭解的事情。工程領導層可以即時檢視使用情況、設定適當級別的限制，並給予團隊使用編碼助手的靈活性，而不會產生意外賬單。

LangSmith LLM閘道器目前處於私人測試階段。在此註冊申請訪問許可權。