強化学習と検証可能な報酬（RLVR）は、大規模言語モデルの推論能力を向上させる強力な手法となっている。RLVRは検証可能な正解を持つタスク向けに設計されているが、現実の検証器（静的コードチェッカーなど）は報酬信号にエラーを導入する可能性がある。これまでの分析では、こうしたエラーはサンプル間でランダムで独立していると見なされ、エラーは単に訓練を遅らせるだけで最終的な性能への影響は限定的であると結論づけられていた。しかし、実際の検証器は系統的なエラーを示す傾向があり、構造的に誤った報酬信号からモデルが好ましくない一貫した行動を学習するリスクが生じる。
本研究では、このような系統的検証エラーがRLVRに与える影響を調査する。著者らはスイス連邦工科大学チューリッヒ校などに所属し、論文は2026年4月に提出された。算術タスクでの制御実験を通じて、系統的偽陰性はランダムノイズと同様の効果を示す一方、系統的偽陽性は準最適な停滞から性能崩壊まで幅広い行動を引き起こす可能性があることを示す。重要なのは、これらの結果が全体的なエラー率ではなく、導入されたエラーの特定のパターンによって決定されることであり、事前の緩和を困難にしている。
我々の結果は、従来の結論とは対照的に、現実的な検証エラーがRLVRの結果に決定的な影響を与える可能性があり、検証器の品質はサンプルレベルのエラー率を超えて理解される必要があることを示している。この発見は、RLVRシステムを導入する実用的なアプリケーションにとって重要であり、検証器の設計とエラー分析にさらなる注意を払う必要があることを示唆している。さらに、一般的な検証器（コードチェッカーなど）は特定のコーディングスタイルに対して厳しすぎるなど系統的なバイアスを持つことが多く、モデルが準最適な戦略を学習する原因となり得る。今後の研究では、これらの系統的エラーを検出し緩和する方法を探求し、RLVRの堅牢な訓練を確保することが求められる。