LangChain如何让编码助手成本变得可预测

过去几年，AI使用的成本在预算中很容易被忽视。在LangChain，模型使用主要局限于少数团队，用量可预测，月度账单可控。然而，去年情况发生了改变：AI使用从少数团队扩展到全公司，最先进的模型变得更昂贵，而代理（Agent）的强大使得完成单个任务就能轻易触发数十次模型调用。结果，AI支出变得难以理解，也难以实时控制。

这一问题在工程部门表现得最为突出。一名重度使用编码助手的开发者每周可能产生数千美元的费用，而其他人却毫无察觉。领导层需要一种方式，能够实时查看支出、按团队和用户设置限制，并防止意外失控的用量，同时不阻碍高效工作。

为此，LangChain将LangSmith LLM网关直接集成到日常使用的产品中。其直接目标是防止编码助手的意外失控支出，让工程副总裁和财务主管都能安心。在LangSmith LLM网关中，预算可以按多个维度设置：组织层面、工作区、用户、API密钥。我们为每个员工设定了月、周、日、小时的默认预算，并为需要更高用量的项目人员提供例外。

网关已在全公司范围内应用于所有编码助手——通过Claude Code、Codex或LangChain Deep Agents。所有符合条件的编码助手调用都通过LLM网关运行，使工程领导层能够每分钟查看全公司的支出概览。同时，我们通过MDM集中编排，确保每个用户无需自行配置。

“网关的好处在于，通过集中控制，我可以更确信不会在打开仪表板时看到一份令人惊讶的数千美元账单。我可以看到限制和支出，并有一个中央关闭/控制点。”——Alex Lunev，LangChain工程副总裁

将成本控制与LangSmith堆栈的其余部分连接起来，网关的效用最大化。由于LangSmith LLM网关是LangSmith的一部分，支出控制与我们管理AI应用的现有系统相连。网关运行可被追踪、归因于用户或密钥，并与生产数据一起分析。这意味着成本数据不再局限于月度账单。我们可以将支出与特定代理、模型调用、追踪和故障模式关联起来。我们还可以使用LangSmith现有的OAuth、模型管理和用户管理控制，无需围绕独立代理重建这些工作流。

这也使网关数据更具可操作性。当编码助手支出超出预期时，我们可以检查追踪，了解发生了什么，并使用评估和可观察性数据来改进底层代理行为。

内部部署让我们学到了三个教训，并塑造了产品后续的发展方向：第一，模型定价比静态表格复杂得多。查找表很快就会过时，准确的成本核算必须吸收缓存、令牌层级细微差别和频繁的提供商价格变化。这促使我们将模型定价视为一个系统而非常数。第二，并非每个客户端都能顺利通过网关路由，支持程度因应用和管理方式而异。我们采取的方法是通过测量网关捕获的内容与其余企业提供商设置（如月度Claude计划）捕获的内容之间的差异，以确保即使在流量无法直接通过网关时也能核算支出。第三，硬限制需要配套工作流。工程师们希望能在达到限制前收到早期警告，并有一条快速、可审计的提限途径。这促使我们将限制从静态护栏转变为工作流：我们在阈值之前添加分层告警，并探索有纸质记录的预算增加请求流程，以使支出控制既能保护业务又不会妨碍工作。

结果，自从内部部署LangSmith LLM网关以来，我们的LLM成本一直控制在预算内。更大的变化是，支出不再是月底才能了解的事情。工程领导层可以实时查看使用情况、设置适当级别的限制，并给予团队使用编码助手的灵活性，而不会产生意外账单。

LangSmith LLM网关目前处于私人测试阶段。在此注册申请访问权限。