SAT：無需協調器的多LLM序列化代理調優，實現單調改進保證與即插即用訓練

大語言模型（LLM）的參數規模持續增長，雖然性能強大但部署成本高昂。近期研究嘗試使用多個小型高效LLM組成團隊，集體協同以匹敵甚至超越單一大型模型。然而，聯合更新多個代理會引入複合分佈偏移，導致訓練協調與穩定性困難。針對這一問題，來自多所機構的研究者提出序列化代理調優（Sequential Agent Tuning, SAT），一種無需協調器（coordinator-free）的訓練範式。該方法將團隊建模為因子化策略（factorized policy），並採用塊座標更新（block-coordinate updates）遍歷各代理，從而在不依賴中央控制器的情況下實現可擴展的去中心化訓練。具體而言，SAT開發了序列感知的在線優勢估計器（sequence-aware on-policy advantage estimator），該估計器條件於演化中的團隊策略，並結合每代理的KL信任域（per-agent KL trust regions）來隔離佔據漂移（occupancy drift）。理論方面，SAT框架提供兩個關鍵保證：一是單調改進（monotonic improvement），穩定訓練過程；二是可證明的即插即用不變性（provable plug-and-play invariance），即任意代理可升級為更強模型而無需重新訓練團隊其他成員，且性能上界保證提升。實驗部分，研究團隊使用SAT訓練由三個4B參數模型（合計12B）組成的團隊，在AIME 2024和2025基準測試上平均超越參數規模大得多的Qwen3-32B模型達3.9%。為驗證即插即用理論，他們進一步將其中兩個代理替換為8B模型，複合得分提升10.4%。論文已被AAMAS 2026接收，代碼與證明附錄已開源在GitHub。這一工作為構建靈活、高效的多LLM協同系統提供了新思路，有望降低推理成本並提升模型在複雜推理任務中的表現。