本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

早期判定、より良い予算:計算効率的なRLVRのための逐次適応ロールアウト割り当て

記事の要約

検証可能な報酬を用いる強化学習(RLVR)はロールアウト生成にボトルネックがある。SARAはベイズ事後分布と二重閾値SPRTスタイルのルールを用いて、有効または飽和したプロンプトグループを早期に識別し、節約した予算を新しいプロンプトに再配分する手法を提案する。実験では、SARAはベースライン性能を維持しつつ、ロールアウト数を22%-67%削減した。

ソースarXiv Machine Learning著者: Pixel Nomand, Elena Voss, Marcus Hale, Sofia Reyes
早期判定、より良い予算:計算効率的なRLVRのための逐次適応ロールアウト割り当て
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

検証可能な報酬を用いる強化学習(RLVR)は、ロールアウト生成に深刻なボトルネックを抱えている。サンプリングされた多くのプロンプトは飽和グループ(全応答が正解または全不正解)を生成し、報酬分散がゼロとなるため、方策勾配信号が全く得られない。既存の対策としては、より大きな候補プールを過剰サンプリングして飽和プロンプトを破棄する動的サンプリング(追加のロールアウトコストが大きい)や、サンプリング前にプロンプト難易度を予測する方法(方策変化に脆弱)がある。

研究者らは、グループの有効性は通常最初の数ロールアウトで判定されることに着目し、既に決定したプロンプトに完全なグループを費やすのは無駄であると指摘した。彼らは段階的なロールアウト収集を予算制約付き逐次割り当て(最適停止)問題として定式化し、SARA(Sequential Adaptive Rollout Allocation)を導入した。SARAは各プロンプトの成功率に関するベータ事後分布を維持し、グループ有効性の閉形式予測子を評価し、二重閾値のSPRTスタイルルールを適用する。これにより、有効グループをコミットし、飽和グループは短いプローブ後に放棄し、解放された予算を新しいプロンプトに再配分する。追加の予測ロールアウトは一切不要である。

理論的には、放棄の信頼性、期待ロールアウト節約、固定予算下での収率優位性、および有効グループ収率とGRPO勾配ノルムの関係が証明された。単一GPU上で1.5Bおよび3Bモデルを用いた数学的推論と計画タスクの実験では、SARAは動的サンプリング(DPS)と同等の性能(どちらもDSオラクル未満)を示し、DSより22%少ないロールアウト数で実現した。さらに、SARAとDPSを組み合わせると、DSよりわずかに高い精度を達成し、ロールアウト数は67%削減(ほぼ均一コスト)された。これらの結果は、RLVRの計算効率を大幅に向上させる可能性を示している。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • RLVRでは多くのプロンプトが飽和グループを生成し、報酬分散ゼロで計算を浪費する。
  • SARAはロールアウト収集を予算制約付き逐次割り当て問題としてモデル化し、ベータ事後分布とSPRTスタイルのルールで動的に調整する。
  • 数学的推論と計画タスクにおいて、SARAは動的サンプリングより22%少ないロールアウトで同等性能、動的サンプリングと組み合わせると67%削減。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。