BV-Blend 是 Yupeng Chang 等三位作者于 2026 年 6 月 27 日提交到 arXiv 的一篇人工智能论文（编号 arXiv:2606.28707v1，分类 cs.AI）。该工作聚焦于带可验证奖励的无评论家强化学习（critic-free RLVR），提出一种新的优势估计框架，用来缓解 GRPO 类方法在冷启动阶段和二元验证器下容易训练停滞的问题。
在为大语言模型做对齐训练时，PPO 等基于评论家（critic，即价值函数）的流程需要额外训练一个价值网络来估计基线，这会带来显著的内存与计算开销。以 Group Relative Policy Optimization（GRPO）为代表的带可验证奖励的强化学习方法选择不训练评论家，从而降低资源消耗。然而，GRPO 式的优势估计完全依赖提示本地的奖励统计，也就是同一提示下的一组 rollout 内部的均值和方差，因此稳定性存在隐患。论文特别指出一个关键失效模式：当某个提示组内所有 rollout 获得完全相同的奖励时，组内奖励方差变为零，组归一化后该组所有样本的优势值都为零，梯度信号消失。在使用二元验证器（奖励只有对/错两种取值）的冷启动阶段，这种情况尤其容易出现，从而使学习受阻。
为解决这一问题，作者提出 BV-Blend 框架。其核心思路是把提示本地的在线策略统计与按语义簇条件化的历史矩结合起来。具体而言，BV-Blend 为每个语义簇维护经指数移动平均（EMA）跟踪的奖励矩，并基于均值标准误（SEM）代理量推导出一个置信权重，再用该权重把历史统计与提示本地统计在基线和方差两个层面进行混合，最终形成标准化的优势估计，供 PPO 风格的裁剪更新使用。这样一来，当组内信息不足或方差退化时，历史簇级统计可以提供额外信号，避免优势值塌缩为零。
论文报告称，在可验证推理基准上的实验显示，BV-Blend 改善了训练稳定性与性能，并且在组归一化方法可能停滞的场景下仍保持稳健。该论文目前以 v1 版本发布，提交时间为 2026 年 6 月 27 日 03:25:53 UTC，全文约 1,292 KB，可通过 PDF、实验性 HTML 以及 TeX 源码等方式获取，DOI 为 https://doi.org/10.48550/arXiv.2606.28707，DataCite 注册尚待完成。论文主题归属于人工智能方向，引用格式为 arXiv:2606.28707 [cs.AI]。