斯坦福研究人员推出TRACE：将智能体反复失败转化为合成RL环境的能力定向训练系统

斯坦福大学的研究团队近日发布了TRACE系统，这是一种旨在解决大语言模型智能体重复失败问题的新型训练框架。TRACE的核心思想是将智能体的失败模式转化为有针对性的训练信号，通过四个步骤实现能力导向的强化学习。

首先，TRACE通过对比分析智能体在目标环境中的成功和失败轨迹，识别出缺失的关键能力。这些能力必须满足对比度阈值（Δ≥0.20）和覆盖率阈值（ρ≥0.10），以确保其与失败强相关。实验发现，在τ²-Bench上，结构化的数据推理、多步骤任务完成、前提条件验证和工具调用精度是四个最常见的缺失能力。

其次，TRACE为每个识别出的能力合成一个独立的训练环境。这些环境通过程序化生成任务实例，并内置自动验证机制，从而无需人工标注或大模型评判即可提供密集的奖励信号。每个环境专注于单一能力，同时保留目标环境的工具模式和格式。

第三步，TRACE使用GRPO算法为每个能力训练一个LoRA适配器。GRPO通过将同一种子的轨迹分组，并在组内标准化奖励，从而隔离策略本身的贡献。每个LoRA适配器仅增加约5.3%的可训练参数，基础模型保持冻结。

最后，TRACE将所有适配器组合成一个混合专家（MoE）模型，并训练轻量级的令牌级路由门控。在推理时，每个令牌被路由到最相关的能力适配器，使模型能够在轨迹中动态切换专家。

在实验结果方面，TRACE在Qwen3-30B-A3B和Qwen3.6-27B两个基础模型上进行了测试。在τ²-Bench上，TRACE分别提升了15.3和9.1个百分点；在SWE-bench Verified上，Qwen3.6-27B达到了73.2%的Pass@1，超越了GPT-5.2-Codex（72.8%）等闭源模型。此外，TRACE在样本效率上表现优异，仅使用不到四分之一的任务轨迹就达到了优于GRPO和GEPA的效果。

TRACE的代码已开源，采用MIT许可证。其流水线是基准无关的，通过Markdown提示驱动。对于每个能力适配器，训练过程利用vLLM服务器提供高效的推理服务。默认的超参数包括覆盖率阈值0.10、对比度阈值0.20以及8/10的跨运行一致性要求。

这项研究的意义在于，它提供了一种系统性的方法，将智能体的失败转化为可操作的训练信号，而不仅仅依赖通用错误标签。通过分离每个能力并单独训练，TRACE避免了模型在多个任务间发生能力崩溃，同时保持了高样本效率。