マルチエージェントの戦略的相互作用において言語モデルエージェントを訓練する際には、根本的な難しさがある。ある行動の質は、決して実現しなかった将来の出来事、ゲームルールに違反する手、あるいは他のプレイヤーの決定に依存し得る。標準的な強化学習は各ステップで報酬を割り当てられることを前提とするが、結果が時間とエージェントをまたいで絡み合う設定ではこの前提が崩れる。arXivに投稿された論文「MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution」（2026年4月13日提出、Aliaksei Korshukらによる）は、この問題に対する体系的な解決策を提示している。
論文の中核的貢献は「適格性ゲーティング付き遅延ステップ別報酬帰属」である。この手法はエピソードのライフサイクルと後処理パイプラインを設計し、報酬を各ステップで即時計算するのではなく、エピソード終了時にまとめて計算する。その後、タスク固有の意味論に従って最終報酬をその発生源である各ステップに遡って帰属させ、有効な依存情報を欠くステップは訓練から除外する。これにより、誤った報酬信号が方策更新を汚染するのを防ぐ。
著者らはこの報酬メカニズムを複数のエンジニアリング最適化と組み合わせている。vLLMの連続バッチ処理を利用した非同期軌跡生成、対戦相手の難易度を段階的に上げるカリキュラムベースのサンプリング、バッチ内の多様性を確保する多段階層バッチ構築である。これらの要素が相まって、マルチエージェント環境での強化学習訓練が安定かつサンプル効率的になる。
評価はNeurIPS 2025のMindGames Arenaベンチマークで実施された。その結果、わずか80億パラメータのオープンソースモデルが本手法で訓練されると、直接対戦においてGPT-5を含むはるかに大規模なプロプライエタリシステムに匹敵あるいは凌駕し、Open（無制限）とEfficient（80億パラメータ以下）の両トラックで1位を獲得した。この結果は、手法設計がモデル規模の差を補う可能性を強調するとともに、マルチエージェント強化学習における信用割当問題への応用可能なパラダイムを示している。