反実推論経路によるクレジット割り当て分散の削減
本論文は、大規模言語モデル（LLM）による多段階推論における強化学習のための、反実比較に基づくクレジット割り当てフレームワークを提案する。同一入力下で複数の推論軌跡をサンプリングし、それらの差異を暗黙的な代替決定として扱うことで、過程レベルのアドバンテージ推定器を構築する。これにより、疎な終端報酬をステップ感度のある学習信号に変換する。提案手法である暗黙的行動ポリシー最適化（IBPO）は、数学・コード推論ベンチマークにおいて訓練安定性と性能上限を大幅に向上させる。
強化学習を多段階推論に適用する際、最終ステップのみに与えられる疎な報酬は、中間の各決定に適切にクレジットを割り当てることが難しく、これが勾配分散の増大や訓練の不安定性、さらにはモデルの学習失敗を引き起こす大きな要因となっています。例えば、大規模言語モデル（LLM）が数学問題を解く場合、複数の推論ステップを経て最終的な答えを出力しますが、最終答えが正しい場合にのみ報酬が与えられ、各ステップの正誤は直接評価されません。その結果、すべての中間ステップが均等に報酬を受け取るため、勾配の分散が大きくなり、訓練が不安定になります。
この問題に対処するため、本研究では反実比較に基づく新しいクレジット割り当てフレームワークを導入しています。同一の入力に対して複数の推論軌跡をサンプリングし、それらの間の違いを代替的な意思決定の暗黙的な近似として利用することで、過程レベルでのアドバンテージ推定器を構築します。この推定器は、各ステップにおいて、取られた行動と取られなかった可能性のある行動を比較し、その差異からステップごとのアドバンテージを算出します。これにより、従来は最終報酬のみだった信号が各ステップに敏感な学習信号へと変換され、クレジット割り当ての精度が向上します。
このフレームワークに基づき、暗黙的行動ポリシー最適化（IBPO）というアルゴリズムが提案されました。IBPOは、上記のアドバンテージ推定器を用いてポリシー更新を行い、追加の報酬モデルや価値関数を必要としません。実験では、数学推論ベンチマーク（GSM8K、MATH）とコード生成ベンチマーク（HumanEval、MBPP）を使用しました。結果として、IBPOは既存手法（PPO、REINFORCEなど）と比較して、訓練の安定性（勾配分散の低減や報酬曲線の収束速度）と最終性能（正解率やパス率）の両方で顕著な改善を示しました。特にMATHデータセットでは、従来の最良手法と比較して約5ポイントの性能向上を達成し、HumanEvalでは約80%のパス率を記録しました。
この研究の意義は、LLMの多段階推論における強化学習訓練に対して実用的かつ効果的な解決策を提供した点にあります。疎な報酬をステップ単位の信号に変換することで、モデルは成功・失敗の経験からより正確に学習できるようになり、複雑な推論タスクにおけるLLMの潜在能力を引き出すことが期待されます。今後、この手法は科学的問題解決や自動定理証明など、より長い推論連鎖を必要とする分野への応用が期待されます。