近年、大規模言語モデル（LLM）の推論能力は、検証可能な報酬を用いた強化学習（RLVR）により大幅に向上している。しかし、既存の強化学習アルゴリズムには根本的な限界がある。その探索範囲はポリシーモデル本来の能力境界に制約される。最近の手法では外部専門家のデモンストレーションを導入してこの境界を拡張しようとしているが、それらは通常、完全な軌跡レベルのガイダンスに依存しており、サンプル非効率、情報の希薄さ、そして静的なガイダンス空間への探索の閉じ込めといった問題がある。
マルチエージェントシステムの可能性に触発され、提案されたAIPOは、探索中に能動的なマルチエージェントインタラクションを通じてLLMの推論を改善する拡張強化学習フレームワークである。具体的には、ポリシーモデルが推論のボトルネックに遭遇した際に、3つの機能的な協調エージェント（検証エージェント、知識エージェント、推論エージェント）に積極的に相談し、細かくターゲットを絞ったガイダンスを受け取ることで、トレーニング中に能力境界を能動的に拡大する。検証エージェントは中間ステップの正しさを確認し、知識エージェントは関連する事実や背景知識を提供し、推論エージェントはより効果的な推論経路を導く。この協力により、ポリシーモデルは自身の能力限界を超えて、より複雑な推論戦略を学習できる。
さらに、エージェントからのフィードバックから学習する際に生じるオフポリシーバイアスと勾配消失問題を緩和するために、カスタマイズされた重要度サンプリング係数とクリッピング戦略を導入する。重要度サンプリング係数は異なるフィードバックサンプルの重みを調整してバイアスを減らし、クリッピング戦略は更新幅を制限して勾配消失を防ぐ。トレーニング後、ポリシーモデルは協調エージェントに依存せずに独立して推論を実行するため、デプロイ時の追加オーバーヘッドはない。
AIME、MATH500、GPQA-Diamond、LiveCodeBenchなど多様な推論ベンチマークでの広範な実験により、AIPOは推論性能を一貫して向上させ、異なるポリシーモデルやRLVRアルゴリズム間でロバストに汎化し、ポリシーモデルの推論能力限界を効果的に拡大することが示されている。例えば、AIME（米国数学オリンピック予選）の問題では、AIPOは正解率を大幅に向上させた。MATH500では、既存の最良手法を上回った。さらに、コード生成ベンチマークのLiveCodeBenchでも優れた性能を示し、分野横断的な汎化能力が確認された。これらの結果は、能動的なマルチエージェントインタラクションによってLLMの推論能力の上限を大幅に突破できることを証明している。この手法のコードとデータは公開されており、今後の研究や応用に利用可能である。