LangSmith今日宣布推出LLM网关私有测试版，这是一层运行时治理，内置于开发者构建、观察和评估代理的LangSmith环境中。LLM网关位于代理与它们调用的LLM提供商之间，在请求到达模型前强制执行成本限制和敏感数据编辑。当策略触发时，事件直接流入LangSmith，无需单独的仪表板、审计日志或工具。开发者可以从被阻止的请求直接跳转到触发它的追踪，再进行修复，这一切都在同一个产品中完成。
LLM网关解决了可观测性与强制执行之间的差距。例如，一个编码代理在夜间陷入重试循环，到早晨已进行了10,000次LLM调用，导致四位数账单。或者，客户支持代理在处理退款请求时包含社保号码，该号码可能已存在于提供商日志、追踪数据及任何下游系统中。可观测性只能告诉你发生了什么，而LLM网关能在问题发生前阻止它们。
当前测试版包含以下功能：支出限制（在组织、工作区、用户或API密钥级别设置上限，超标时返回402错误）、实时成本汇总、PII和机密检测（在请求和响应中编辑敏感数据）、追踪连续性（通过网关的调用仍出现在同一LangSmith工作区）、LangSmith引擎集成（策略事件可用于分类）、审计日志（记录所有管理操作）以及分层强制。
设置过程非常简单：将代理指向LangSmith网关端点，使用LangSmith API密钥；将提供商API密钥添加到工作区密钥；在LangSmith UI中设置策略。只需更改base_url，无需修改代码。
LLM网关与代理框架本身紧密集成，策略事件与追踪、评估和仪表板出现在同一工作区。这使得检测、调查和修复都在构建代理的同一表面进行。与网络层网关、独立护栏平台或数据平台治理层不同，LLM网关锚定于代理框架，无需在多个工具间切换。
未来计划包括更深层次的安全控制（超越PII和机密检测）、灵活执行（软发布、模型回退、速率限制）以及工具和MCP网关（将相同原语应用于工具调用、代理间调用和MCP服务器交互）。LLM网关现在以私有测试版提供，可申请访问。