大規模言語モデルのアラインメントにおいて、検証可能な報酬を用いた強化学習（RLVR）は価値関数（クリティック）を必要としないため注目されている。特にGroup Relative Policy Optimization（GRPO）は、クリティックベースのPPOパイプラインと比較してメモリと計算のオーバーヘッドを大幅に削減する代表的手法である。しかし、GRPOのアドバンテージ推定はプロンプトローカル（同一プロンプトグループ内）の報酬統計に完全に依存しており、安定性に課題がある。
具体的には、あるプロンプトグループ内のすべてのロールアウトが同一の報酬を受け取ると、グループ内報酬分散がゼロになり、グループ正規化はそのグループに対してゼロのアドバンテージを生成する。これにより、二値検証器を用いるコールドスタート領域で学習が停滞する可能性がある。
この問題に対処するため、Yupeng ChangらはBV-Blendフレームワークを提案した。その核心は、プロンプトローカルのオンポリシー統計とセマンティッククラスタ条件付きの履歴モーメントを組み合わせることでアドバンテージ推定を安定化させることにある。BV-Blendは各セマンティッククラスタに対して指数移動平均（EMA）で追跡された報酬モーメントを維持し、平均の標準誤差（SEM）プロキシから信頼度重みを導出する。この重みを用いて履歴統計とローカル統計を混合し、PPOスタイルのクリップ付き更新のための標準化されたアドバンテージを生成する。
検証可能な推論ベンチマークでの実験により、BV-Blendは訓練の安定性と性能を向上させ、グループ正規化手法が停滞する可能性のある領域でもロバスト性を維持することが示された。この研究は、クリティックフリーRLVRに対するシンプルかつ効果的な改善アプローチを提供する。論文は2026年6月27日にarXivに投稿され、番号は2606.28707、cs.AIカテゴリに属する。