跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

早期判定,更好预算:用于计算高效RLVR的顺序自适应展开分配

文章摘要

强化学习中的可验证奖励(RLVR)面临展开生成瓶颈。SARA提出一种顺序自适应分配方法,通过贝叶斯后验和两阈值规则,在早期识别有效或饱和的提示组,并将节省的预算重新分配给新提示。实验表明,SARA在匹配基线性能的同时,减少了22%-67%的展开次数。

来源arXiv Machine Learning作者: Pixel Nomand, Elena Voss, Marcus Hale, Sofia Reyes
早期判定,更好预算:用于计算高效RLVR的顺序自适应展开分配
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

强化学习中的可验证奖励(RLVR)在生成展开(rollout)时面临一个关键瓶颈:许多采样的提示会产生饱和组(即所有回答完全正确或全部错误),这些组的奖励方差为零,无法为策略梯度提供任何有效信号。现有的应对方法要么对更大的候选池进行过采样并丢弃饱和提示(即动态采样),但这会付出高昂的额外展开成本;要么在采样前预测提示难度,但这种方法在策略变化时显得十分脆弱。

研究人员观察到一个重要现象:一个组的有效性通常在其最初的几个展开中就能被判定。因此,对已经确定了有效或饱和的提示继续使用完整的展开组无疑是巨大的浪费。为了解决这一问题,他们创新性地将逐步展开收集建模为一个受预算约束的顺序分配(最优停止)问题,并提出了SARA(Sequential Adaptive Rollout Allocation)方法。SARA维护着每个提示成功率的贝塔后验分布,能够评估组有效性的闭合形式预测器,并应用一个双阈值的序贯概率比检验(SPRT)风格规则:一旦某个提示被认定为有效组,系统会立即承诺对其进行充分探索;而对于饱和组,则在短暂的探测后果断放弃,并将释放出的预算重新分配给新的提示,整个过程无需额外的预测展开。

在理论层面,研究团队系统地证明了放弃饱和组的可靠性、预期展开节省量、固定预算下的收益率优势,以及有效组收益率与GRPO梯度范数之间的内在联系。在实际实验中,他们使用单个GPU上的1.5B和3B模型进行数学推理和规划任务。结果显示,SARA的性能与动态采样(DPS)相当(两者均低于DS oracle),但展开次数比DS减少了22%;而当SARA与DPS组合使用时,准确率甚至略高于DS,同时展开次数减少了67%,成本接近均匀分布。这一成果为RLVR的高效计算提供了切实可行的新路径。

展开要点与分析

文章情报

工程师进阶

要点

  • RLVR中许多提示产生饱和组,零奖励方差无策略梯度信号,浪费计算资源。
  • SARA将展开收集视为预算约束的顺序分配问题,通过贝叶斯后验和SPRT风格规则动态调整。
  • 在数学推理和规划任务中,SARA使用22%更少的展开匹配动态采样,与动态采样组合减少67%展开。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。