LangSmith Engine 是 LangSmith 平台的新功能，旨在自动化代理的改进流程。传统上，开发团队需要手动查看追踪数据、寻找故障模式、编写评估和修复代码。现在，Engine 可以自动执行这些步骤：它持续监控生产追踪，将相似的故障聚类为命名问题，并针对你的代码诊断根因，然后自动生成拉取请求和评估器。
LangSmith Engine 目前已公开测试版可用。
每个代理团队都在运行的循环
典型的代理开发流程包括：追踪代理行为、识别故障模式、修改提示或工具、创建数据集、运行实验以及部署。LangSmith 之前已提供追踪视图和实验工具，但客户反馈几个痛点：难以从单个追踪中发现模式、难以大规模跟踪错误频率、从生产数据创建离线评估示例繁琐且易跳过、修复后缺乏针对性的评估器。
Engine 解决了这些问题：团队可以看到聚类故障的优先级列表，自动生成的修复方案，以及为测试套件提供的离线评估示例。
实际示例
假设你的代理是客服机器人。Engine 检测到一批追踪，其中用户询问取消订阅，但代理的响应被在线评估标记为失败，用户反馈负面。Engine 将此聚类为一个命名问题：“代理无法准确处理订阅取消请求。”它显示严重性（高，影响12%的支持会话）、时间线（4天前开始，与最近部署相关），并提供相关追踪链接。在你的仓库连接后，Engine 读取相关代码并识别根因：取消工具的描述模糊，导致代理在用户仅询问选项时就尝试取消。Engine 自动生成一个拉取请求修复工具描述。同时，它提议创建一个自定义在线评估器，以持续监控该行为，并将失败的追踪拉入离线评估数据集。
Engine 针对每个问题采取的措施
对于每个发现的问题，Engine 提议三个解决方案：打开拉取请求（需仓库权限）、创建自定义在线评估器、将失败的追踪添加到离线评估套件。每个已解决问题的修复都会增强评估覆盖。
Engine 的工作原理
LangSmith Engine 由一个深度代理驱动，它可以访问你的追踪数据、评估反馈和源代码。它监控多种信号：显式错误、在线评估失败、异常、负面用户反馈和异常行为。当多个追踪中出现模式时，Engine 将它们聚类为单个命名问题。Engine 基于 LangSmith 现有追踪和评估基础设施构建，利用已有的评估结果来检测覆盖缺口。
客户反馈
团队如 Cogent、Harmonic 和 Campfire 已使用 Engine 解决了影响数千个追踪的问题。他们能更早捕获回归，更快发布修复。
未来展望
LangSmith 团队旨在让代理改进循环更加自动化，使常见问题类型无需人工审查即可解决。LangSmith Engine 是第一步。
开始使用
LangSmith Engine 现已在公开测试版中。连接一个追踪项目，可选连接仓库，Engine 将自动从生产追踪中发现问题。