LangChain如何讓編碼助手成本變得可預測

過去幾年，AI使用的成本在預算中很容易被忽視。在LangChain，模型使用主要侷限於少數團隊，用量可預測，月度賬單可控。然而，去年情況發生了改變：AI使用從少數團隊擴展到全公司，最先進的模型變得更昂貴，而代理（Agent）的強大使得完成單個任務就能輕易觸發數十次模型調用。結果，AI支出變得難以理解，也難以實時控制。

這一問題在工程部門表現得最為突出。一名重度使用編碼助手的開發者每週可能產生數千美元的費用，而其他人卻毫無察覺。領導層需要一種方式，能夠實時查看支出、按團隊和用户設置限制，並防止意外失控的用量，同時不阻礙高效工作。

為此，LangChain將LangSmith LLM網關直接集成到日常使用的產品中。其直接目標是防止編碼助手的意外失控支出，讓工程副總裁和財務主管都能安心。在LangSmith LLM網關中，預算可以按多個維度設置：組織層面、工作區、用户、API密鑰。我們為每個員工設定了月、周、日、小時的默認預算，併為需要更高用量的項目人員提供例外。

網關已在全公司範圍內應用於所有編碼助手——通過Claude Code、Codex或LangChain Deep Agents。所有符合條件的編碼助手調用都通過LLM網關運行，使工程領導層能夠每分鐘查看全公司的支出概覽。同時，我們通過MDM集中編排，確保每個用户無需自行配置。

“網關的好處在於，通過集中控制，我可以更確信不會在打開儀表板時看到一份令人驚訝的數千美元賬單。我可以看到限制和支出，並有一箇中央關閉/控制點。”——Alex Lunev，LangChain工程副總裁

將成本控制與LangSmith堆棧的其餘部分連接起來，網關的效用最大化。由於LangSmith LLM網關是LangSmith的一部分，支出控制與我們管理AI應用的現有系統相連。網關運行可被追蹤、歸因於用户或密鑰，並與生產數據一起分析。這意味着成本數據不再侷限於月度賬單。我們可以將支出與特定代理、模型調用、追蹤和故障模式關聯起來。我們還可以使用LangSmith現有的OAuth、模型管理和用户管理控制，無需圍繞獨立代理重建這些工作流。

這也使網關數據更具可操作性。當編碼助手支出超出預期時，我們可以檢查追蹤，瞭解發生了什麼，並使用評估和可觀察性數據來改進底層代理行為。

內部部署讓我們學到了三個教訓，並塑造了產品後續的發展方向：第一，模型定價比靜態表格複雜得多。查找表很快就會過時，準確的成本核算必須吸收緩存、令牌層級細微差別和頻繁的提供商價格變化。這促使我們將模型定價視為一個系統而非常數。第二，並非每個客户端都能順利通過網關路由，支持程度因應用和管理方式而異。我們採取的方法是通過測量網關捕獲的內容與其餘企業提供商設置（如月度Claude計劃）捕獲的內容之間的差異，以確保即使在流量無法直接通過網關時也能核算支出。第三，硬限制需要配套工作流。工程師們希望能在達到限制前收到早期警告，並有一條快速、可審計的提限途徑。這促使我們將限制從靜態護欄轉變為工作流：我們在閾值之前添加分層告警，並探索有紙質記錄的預算增加請求流程，以使支出控制既能保護業務又不會妨礙工作。

結果，自從內部部署LangSmith LLM網關以來，我們的LLM成本一直控制在預算內。更大的變化是，支出不再是月底才能瞭解的事情。工程領導層可以實時查看使用情況、設置適當級別的限制，並給予團隊使用編碼助手的靈活性，而不會產生意外賬單。

LangSmith LLM網關目前處於私人測試階段。在此註冊申請訪問權限。