SAT：調整役不要のプラグアンドプレイ型マルチLLM訓練を実現する逐次エージェントチューニング

大規模言語モデル（LLM）はそのパラメータ数の多さから強力な性能を発揮する一方、デプロイコストが極めて高いという課題がある。近年、複数の小型で効率的なLLMをチームとして協調させることで、単一の大規模モデルに匹敵または凌駕する性能を目指す研究が進められている。しかし、複数エージェントを同時に更新すると複合的な分布シフトが生じ、訓練の調整と安定性が困難になる。この問題に対処するため、本研究ではSequential Agent Tuning（SAT）を提案する。SATは調整役（coordinator）を必要としない訓練パラダイムであり、チームを因子化方策（factorized policy）として表現し、エージェントごとにブロック座標更新（block-coordinate updates）を適用することで、中央制御なしにスケーラブルで分散的な訓練を実現する。具体的には、チーム方策の進化に条件付けられた系列認識・オン方策アドバンテージ推定器（sequence-aware on-policy advantage estimator）と、エージェントごとのKL信頼領域（per-agent KL trust regions）を組み合わせ、占有ドリフト（occupancy drift）を分離する。理論面では、SATフレームワークは二つの重要な保証を提供する。第一に、単調改善（monotonic improvement）を保証し訓練プロセスを安定化する。第二に、証明可能なプラグアンドプレイ不変性（provable plug-and-play invariance）を確立する。これは、任意のエージェントをより強力なモデルにアップグレードしても他のエージェントを再訓練する必要がなく、しかも性能上限が改善されるという正式な保証である。実験では、SATで訓練された3つの4Bエージェント（合計12B）からなるチームが、AIME 2024/2025ベンチマークにおいて、はるかに大きなQwen3-32Bを平均3.9%上回った。さらに、プラグアンドプレイ理論を検証するため、2つのエージェントを8Bモデルに交換したところ、複合スコアが10.4%向上した。本論文はAAMAS 2026に採択されており、コードと証明付録はGitHubで公開されている。この研究は、柔軟で効率的なマルチLLM協調システムの構築に新たな道を開き、推論コストの削減と複雑な推論タスクにおける性能向上に貢献することが期待される。