改进智能体是一个数据挖掘问题

在人工智能领域，智能体的改进本质上是一个数据挖掘问题。LangChain 的研究团队通过分析智能体在环境中产生的轨迹数据，提取有价值的信号，从而优化智能体性能。这一观点在今年的 AI Engineer World Fair 上得到了深入探讨。

持续学习、Harness Engineering 和后训练都归结为同一件事：大规模策划数据以运行实验并改进智能体。从轨迹中挖掘数据是公司可以建立的最具杠杆作用的能力之一，它帮助理解智能体行为、大规模策划数据，并运行改进循环。

每个持续学习公司本质上也是可观测性公司。持续学习要求智能体在环境中采取行动，然后将从该经验中产生的信息整合回智能体系统。这类似于人类通过行动学习的方式。轨迹是长期智能体改进的货币，它们是智能体在环境中经验的投影，可以转换为可挖掘的数据格式。目前尚不清楚如何完全整合所有信息，但可能的方式包括：通过 SFT、RL 等方法收集训练数据并整合回模型权重；通过 Harness Engineering 添加指令、工具、技能和编排策略；将信息整合到记忆存储中以供上下文检索。“Scaling Dreaming”一词很好地描述了在大数据量、长时间跨度下如何做到这一点。

LangChain 提供了一个实用的智能体改进配方：启动数据收集飞轮，然后通过挖掘数据发现问题，策划评估（即训练数据），并运行实验以改进智能体。由于智能体的行为比传统代码更不透明，我们需要通过大规模运行评估和阅读轨迹来发展定量度量和直觉。现代智能体变得更加复杂，产生大量数据，读取数百万条长达百万 token 的轨迹带来了成本和上下文处理问题。因此，LangChain 创建了专门的智能体和模型来高效理解和策划轨迹数据。

开放模型已跨越智能阈值，是处理大规模轨迹的经济高效选择。每个公司在其轨迹中寻找不同的信号，包括用户交互的细微差别、领域特定数据以及区分重要数据子部分的能力。LangChain 微调了一个轨迹评判模型，发现在狭窄任务上，开放的小模型性能优于封闭的前沿模型，运行成本却低数个数量级。拥有和部署自己的模型智能的另一个好处是，随着你将 token 成本转换为基础设施成本，大规模运行可以更便宜。

LangChain 还构建了 LangSmith Engine 产品，使用专门智能体读取每条轨迹，查找团队关心的信号，发现问题，创建代码修复，生成评估，将重要信息提交到记忆和上下文存储中，并随时间改进每个智能体。

关于模型-任务-Harness 拟合，轨迹挖掘的输出成为改进循环实验的输入。挖掘“好的”轨迹提供了蒸馏更小模型的信号，从而带来更高的成本效率。生产中的每个智能体失败都可以成为创建评估和环境的目标。评估是智能体的训练数据，目的是让它们通过评估，从而将在轨迹中测量的行为转移到智能体中。

通常，我们的工作是找到好的数据和找到好的拟合函数。经典机器学习有 sci-kit-learn 拟合函数，现代智能体则有微调（SFT、RL、DPO）或 Harness Engineering 等拟合策略，例如使用评估分数作为登山指标的自动研究。Harness 是本地模型智能的放大器和扩展器，随着模型变得更智能，许多 Harness 将溶解以允许模型自由使用其智能。在 Terminal Bench 2.0 上，通过登山正确性指标和轨迹来调整 Harness，相比基础 Harness 获得了 13.7% 的提升。轨迹通过提供丰富的行为反馈来强化反馈信号。

关于何时进行 Harness Engineering 与微调，一个成功的通用策略是 Harness Engineering -> 微调 -> Harness Engineering 的漏斗（或三明治）方法。Harness Engineering 通常足以满足大多数团队，提供即时反馈和高带宽表面以将知识和观察到的错误转移到智能体中。但随着模型每代变得更智能，Harness Engineering 最终会遇到智能天花板，这时微调就变得有意义。微调需要更多工作，需要策划数据和进行更长时间反馈循环的实验，但重塑模型智能朝向你的任务是提高性能的有效方法。一旦你对微调后的模型满意，进一步的 Harness Engineering 可以探索新智能景观如何泛化到相关问题。

总结来说，挖掘轨迹提供了攀登山峰的信号；开放模型微调和复合智能体系统有助于处理大规模轨迹数据；持续学习是关于长时间跨度内处理和整合智能体数据；智能体将产生比人类历史上更多的数据，我们需要更新工具来处理它。LangChain 实验室的研究团队正专注于这些问题，帮助每个团队利用数据构建更好的智能体。