SAT：无需协调器的多LLM序列化代理调优，实现单调改进保证与即插即用训练

大语言模型（LLM）的参数规模持续增长，虽然性能强大但部署成本高昂。近期研究尝试使用多个小型高效LLM组成团队，集体协同以匹敌甚至超越单一大型模型。然而，联合更新多个代理会引入复合分布偏移，导致训练协调与稳定性困难。针对这一问题，来自多所机构的研究者提出序列化代理调优（Sequential Agent Tuning, SAT），一种无需协调器（coordinator-free）的训练范式。该方法将团队建模为因子化策略（factorized policy），并采用块坐标更新（block-coordinate updates）遍历各代理，从而在不依赖中央控制器的情况下实现可扩展的去中心化训练。具体而言，SAT开发了序列感知的在线优势估计器（sequence-aware on-policy advantage estimator），该估计器条件于演化中的团队策略，并结合每代理的KL信任域（per-agent KL trust regions）来隔离占据漂移（occupancy drift）。理论方面，SAT框架提供两个关键保证：一是单调改进（monotonic improvement），稳定训练过程；二是可证明的即插即用不变性（provable plug-and-play invariance），即任意代理可升级为更强模型而无需重新训练团队其他成员，且性能上界保证提升。实验部分，研究团队使用SAT训练由三个4B参数模型（合计12B）组成的团队，在AIME 2024和2025基准测试上平均超越参数规模大得多的Qwen3-32B模型达3.9%。为验证即插即用理论，他们进一步将其中两个代理替换为8B模型，复合得分提升10.4%。论文已被AAMAS 2026接收，代码与证明附录已开源在GitHub。这一工作为构建灵活、高效的多LLM协同系统提供了新思路，有望降低推理成本并提升模型在复杂推理任务中的表现。