強化学習（RL）は、大規模言語モデル（LLM）の推論能力を向上させるための事後学習ツールとして重要な役割を果たしています。しかし、RLパイプラインにおけるロールアウト（プロンプトから終了までの軌跡サンプリング。中間推論ステップやツール・環境との相互作用を含む）の設計は、その重要性にもかかわらず十分に報告されていません。Rohan Surana氏ら22名の著者によるこの包括的なサーベイは、LLM強化学習におけるロールアウト戦略を体系的に調査し、Generate-Filter-Control-Replay（GFCR）というライフサイクル分類法を提案しています。
GFCRはロールアウトパイプラインを4つのモジュール段階に分解します。生成（Generate）段階では候補軌跡とトポロジーを提案し、フィルタリング（Filter）段階では検証器、判定器、批評家を介して中間信号を構築します。制御（Control）段階では予算制約下で計算割り当てや継続/分岐/停止の決定を行い、リプレイ（Replay）段階では重み更新なしでロールアウト間で成果物を保持・再利用します。これにより、自己進化的なカリキュラムが自動的に新しいトレーニングタスクを生成することも可能です。この分類法は特定の最適化器に依存しないため、PPO、GRPOなど多様なRL変種に適用できます。
GFCRを補完する基準分類法として、信頼性、カバレッジ、コスト感度の3つの軸を導入しています。信頼性は高品質な解を生成する能力、カバレッジは多様な候補経路の探索、コスト感度は計算やラベリングの効率を指します。これらの間にはトレードオフが存在し、例えば高いカバレッジはフィルタリングコストを増大させる可能性があり、高い信頼性はより多くの計算リソースを必要とする場合があります。論文ではこれらのトレードオフを詳細に分析し、シナリオに応じた推奨構成を示しています。
方法論の統合において、本サーベイは検証可能な報酬を用いたRL、プロセス監視、判定器ベースのゲーティング、ガイド付きロールアウト、ツリー/セグメントロールアウト、適応計算割り当て、早期終了・部分ロールアウト、スループット最適化、自己改善のためのリプレイ/再構成など、幅広い手法をカバーしています。これらの手法は複数の領域で検証されています：数学推論ではGFCRフレームワークがより厳密な証明ステップの生成に寄与し、コード/SQL生成ではフィルタリングとリプレイ機構によりコードの正確性と実行可能性が大幅に向上しました。マルチモーダル推論では視覚と言語情報を組み合わせたロールアウト戦略により複雑なシーンの理解が改善され、ツール使用エージェントでは適応制御段階によりエージェントが外部APIを効率的に呼び出せるようになりました。エージェントスキルベンチマークでは、スキルの誘導、再利用、タスク間転送の能力が評価されています。
最後に、本サーベイは診断指標を提供し、一般的なロールアウト病理（サンプリング効率の低さ、探索の無視、計算の浪費、信号ノイズなど）をGFCRモジュールと対応する緩和策にマッピングしています。例えば、サンプリング効率の低さは生成段階の事前分布の改善やリプレイ段階での再利用率の向上で対処でき、探索の無視は制御段階で探索報酬を導入したり分岐戦略を調整することで対処できます。論文はさらに、再現可能で計算効率が高く信頼性のあるロールアウトパイプラインを構築するための未解決の課題（自動ハイパーパラメータチューニング、マルチタスクのバランス、報酬ハッキングの防止など）を指摘しています。この研究は、LLM事後学習のコミュニティ研究と工学実践に重要な指針を提供し、RLのLLMへのさらなる応用を促進することが期待されます。