LangSmith LLM网关：为生产环境中的AI代理提供运行时控制

LangSmith LLM网关：为生产环境中的AI代理提供运行时控制

2026年7月30日

关键要点

• 避免供应商锁定——一个网关即可同时支持闭源和开放权重模型，集中控制，并灵活更换模型提供商。
• 在运行时控制成本和可靠性——设置支出和速率限制，跟踪使用情况，并在任何模型、提供商或主机上配置模型回退。
• 通过编辑保护敏感数据——从模型调用中编辑PII和机密等敏感数据，防止敏感数据发送给模型提供商。

LangSmith LLM网关现已公开测试。

生产环境中的代理需要对模型调用进行运行时控制，以避免成本超支和中断等不良后果。支出上限、速率限制、模型回退和敏感数据保护都是重要的控制措施，但如果没有合适的工具，工程师必须为每个代理手动编写这些控制逻辑，且针对不同的模型提供商重复劳动。

这就是我们构建LangSmith LLM网关的原因。它是位于代理与其调用的模型之间的集中治理层，专为代理工程团队在生产环境中需要的控制而设计。LLM网关为团队提供了一个统一的位置，用于跨代理、模型和提供商强制执行运行时控制，帮助一致地管理模型使用，同时避免供应商锁定。

立即尝试公开测试版

为什么代理需要集中治理层

在生产环境中，模型层可能迅速成为代价高昂的错误和面向客户的故障的根源。以下是一些实际情况：您的模型提供商遭遇中断，导致客户服务代理返回错误，引发客户不满和收入损失。或者，您的编码代理陷入一夜的重试循环，到早上已经进行了10,000次LLM调用，您收到一张四位数的账单。

在这些情况下，事后了解发生了什么还不够。您需要在违规发生之前强制执行策略。但是，如果控制逻辑嵌入在每个代理的代码中，每个新代理和模型提供商都会增加一个需要维护的实现路径。模型网关允许团队一次性定义策略，然后在模型和代理之间一致执行。

LLM网关的控制功能

LLM网关提供团队在代理投入生产时最需要的控制：成本控制、速率限制、模型回退和敏感数据处理。

避免成本超支：LLM网关允许您在问题出现之前监控和控制内部及外部用户的LLM支出。您可以设置时间限制的上限，并在四个级别跟踪支出：

• 组织级别——用于公司范围的控制
• 工作区级别——使团队保持在支出限制内
• API密钥级别——用于控制特定项目的支出
• 用户级别——用于个人支出控制

当达到上限时，代理会收到一个带有明确错误信息的402响应。

限制失控流量：在组织、工作区、用户和API密钥级别应用速率限制，以防止意外滥用或流量激增超出提供商限制，并避免影响其他代理或团队的可靠性。

针对客户的支出和速率限制策略：对于多租户环境和经销商，LLM网关提供客户级别的控制，而无需客户特定的API密钥。使用自定义请求标头识别每个最终客户或团队，然后强制执行单独的支出上限和速率限制，同时通过一个API密钥路由所有LLM调用。您可以在一处更新限制并检查跨客户的支出，而无需自己构建和维护该逻辑。

提高代理可靠性：跨模型和主机定义回退规则，然后为所有应用程序强制执行。当提供商宕机、速率受限或不可用时，代理可以路由到另一个模型，而无需在每个应用程序中自定义回退逻辑。

减少敏感数据暴露：在请求到达模型提供商之前检测、编辑并替换PII和机密。LLM网关还会从其在LangSmith中记录的跟踪中编辑敏感数据。目前，此功能仅对企业计划用户可用。

在LangSmith中跟踪LLM网关事件：网关事件作为元数据记录在LangSmith跟踪中，因此您可以监控控制功能在生产流量中的表现。当请求因支出限制、速率限制或其他控制而被阻止时，您可以打开跟踪以检查上下文中发生了什么，并决定是否需要更改。

保留模型选择权

LLM网关提供了一个统一的接口，用于在代理和模型提供商之间路由调用。它支持流行的提供商如OpenAI、Anthropic和Fireworks，以及具有OpenAI或Anthropic兼容端点的自定义模型。

LangSmith网关是BYOK优先的。您可以自带提供商密钥，并使用LLM网关进行路由、治理和策略控制，而无需为每个LLM调用添加额外的仪器。对于希望简化采购或更快开始构建代理的团队，网关还支持由Fireworks驱动的开放模型的托管推理，可直接通过LangSmith使用Gateway Credits。Fireworks为开放模型提供快速高效的推理，帮助团队通过LangSmith LLM网关将其投入生产。

我们相信开放权重模型很重要，因为它们为团队提供了对AI系统的更多控制。它们使团队能够灵活地优化成本、质量、延迟、隐私和部署需求，并根据业务的具体情况调整模型。网关是我们让开放模型在生产中更容易采用的一种方式。

“开放模型已经提供了团队在生产AI中所需的性能。下一步是让它们在代理工作流中更容易采用，团队需要控制成本、延迟和治理。Fireworks让开放模型推理快速、高效且可靠地扩展，我们很高兴与LangChain合作推出LangSmith LLM网关，帮助团队将这种性能投入生产。” ——林乔，Fireworks首席执行官

团队如何在生产中使用LLM网关

团队已经在使用LLM网关为生产代理设置硬限制和共享控制。一些常见模式包括需要支出上限的面向公众的代理，以及需要集中计费、使用跟踪和客户限制的多客户代理。

“LLM网关帮助我们集中了Deep Agents的计费和成本跟踪，使我们能够了解每个客户的使用情况和限制。集成非常简单，为我们扩展代理提供了所需的可观测性。” ——肖恩·里奇，Blueberry AI联合创始人兼CTO

“每个生产代理都需要一个硬支出上限，尤其是面向公众的代理，LLM网关通过确保成本永远不会超过我们设定的限制，消除了这一风险。现在我们可以与客户坐下来，就支出及其支持的任何政策达成一致，并在几次点击内完成所有配置。” ——希尔克·西贝斯马，Friday Digital Agency AI工程师

LLM网关入门

您可以直接通过API调用LLM网关，或与编码工具如Claude Code、Codex和Deep Agents Code（dcode）一起使用。

要开始使用，将代理指向LangSmith网关端点，使用LangSmith API密钥进行身份验证，并将提供商API密钥添加到工作区密钥中。然后，配置回退、速率限制、支出限制和敏感数据处理的控制。更新base_url，其余代码保持不变。

LLM网关的未来方向

我们从LLM网关开始，提供了团队在代理投入生产时最需要的控制。接下来，我们将扩展这一基础，增加更多治理模型调用的方式。

更广泛的护栏——更全面地覆盖代理调用外部模型和与生产系统交互所带来的风险。

CI/CD控制——部署提示和上下文的工具，运行A/B测试，管理蓝绿部署和影子部署，并通过基础设施即代码定义控制。

立即尝试

LLM网关现已面向Plus和企业计划用户公开测试。

登录LangSmith或注册，然后在侧边栏中选择“LLM网关”即可开始。您可以在我们的文档中找到设置细节。

企业计划用户可以在此处申请访问数据保护控制。

了解您的代理真正在做什么

我们的代理工程平台LangSmith帮助开发者调试每个代理决策，评估更改，并可一键部署。

尝试LangSmith

获取演示