强化学习中的可验证奖励(RLVR)在生成展开(rollout)时面临一个关键瓶颈:许多采样的提示会产生饱和组(即所有回答完全正确或全部错误),这些组的奖励方差为零,无法为策略梯度提供任何有效信号。现有的应对方法要么对更大的候选池进行过采样并丢弃饱和提示(即动态采样),但这会付出高昂的额外展开成本;要么在采样前预测提示难度,但这种方法在策略变化时显得十分脆弱。
研究人员观察到一个重要现象:一个组的有效性通常在其最初的几个展开中就能被判定。因此,对已经确定了有效或饱和的提示继续使用完整的展开组无疑是巨大的浪费。为了解决这一问题,他们创新性地将逐步展开收集建模为一个受预算约束的顺序分配(最优停止)问题,并提出了SARA(Sequential Adaptive Rollout Allocation)方法。SARA维护着每个提示成功率的贝塔后验分布,能够评估组有效性的闭合形式预测器,并应用一个双阈值的序贯概率比检验(SPRT)风格规则:一旦某个提示被认定为有效组,系统会立即承诺对其进行充分探索;而对于饱和组,则在短暂的探测后果断放弃,并将释放出的预算重新分配给新的提示,整个过程无需额外的预测展开。
在理论层面,研究团队系统地证明了放弃饱和组的可靠性、预期展开节省量、固定预算下的收益率优势,以及有效组收益率与GRPO梯度范数之间的内在联系。在实际实验中,他们使用单个GPU上的1.5B和3B模型进行数学推理和规划任务。结果显示,SARA的性能与动态采样(DPS)相当(两者均低于DS oracle),但展开次数比DS减少了22%;而当SARA与DPS组合使用时,准确率甚至略高于DS,同时展开次数减少了67%,成本接近均匀分布。这一成果为RLVR的高效计算提供了切实可行的新路径。