検証可能な報酬を用いる強化学習(RLVR)は、ロールアウト生成に深刻なボトルネックを抱えている。サンプリングされた多くのプロンプトは飽和グループ(全応答が正解または全不正解)を生成し、報酬分散がゼロとなるため、方策勾配信号が全く得られない。既存の対策としては、より大きな候補プールを過剰サンプリングして飽和プロンプトを破棄する動的サンプリング(追加のロールアウトコストが大きい)や、サンプリング前にプロンプト難易度を予測する方法(方策変化に脆弱)がある。
研究者らは、グループの有効性は通常最初の数ロールアウトで判定されることに着目し、既に決定したプロンプトに完全なグループを費やすのは無駄であると指摘した。彼らは段階的なロールアウト収集を予算制約付き逐次割り当て(最適停止)問題として定式化し、SARA(Sequential Adaptive Rollout Allocation)を導入した。SARAは各プロンプトの成功率に関するベータ事後分布を維持し、グループ有効性の閉形式予測子を評価し、二重閾値のSPRTスタイルルールを適用する。これにより、有効グループをコミットし、飽和グループは短いプローブ後に放棄し、解放された予算を新しいプロンプトに再配分する。追加の予測ロールアウトは一切不要である。
理論的には、放棄の信頼性、期待ロールアウト節約、固定予算下での収率優位性、および有効グループ収率とGRPO勾配ノルムの関係が証明された。単一GPU上で1.5Bおよび3Bモデルを用いた数学的推論と計画タスクの実験では、SARAは動的サンプリング(DPS)と同等の性能(どちらもDSオラクル未満)を示し、DSより22%少ないロールアウト数で実現した。さらに、SARAとDPSを組み合わせると、DSよりわずかに高い精度を達成し、ロールアウト数は67%削減(ほぼ均一コスト)された。これらの結果は、RLVRの計算効率を大幅に向上させる可能性を示している。