强化学习与可验证奖励（RLVR）已成为提升大型语言模型推理能力的强大方法。RLVR专为具有可验证正确答案的任务设计，但现实中的验证器（如静态代码检查器）可能向奖励信号引入错误。以往分析通常将这些错误视为随机且独立，认为它们仅会减慢训练，对最终性能影响有限。然而，实际验证器往往表现出系统性错误，这可能导致模型从结构错误的奖励信号中学习到不期望的一致行为。
本研究通过算术任务上的受控实验，系统评估了这类错误的影响。作者来自苏黎世联邦理工学院等机构，论文于2026年4月提交。实验设计了不同模式的系统性假阴性和假阳性错误，观察对RLVR训练的影响。结果显示，系统性假阴性与随机噪声类似，只会造成训练延迟而不显著改变最终性能。相反，系统性假阳性可能引发从次优平台期到性能崩溃的广泛行为。关键的是，这些结果并非由总体错误率决定，而是由错误的特定模式决定，这使得事前缓解变得困难。
与先前结论相反，现实中的验证器错误可能对RLVR结果产生关键影响。因此，验证器质量必须超越样本级错误率来评估，考虑错误的结构和模式。这一发现对于部署RLVR系统的实际应用具有重要意义，提示需要在验证器设计和错误分析上投入更多关注。此外，该研究还指出，常见的验证器（如代码检查器）往往具有系统性偏差，例如对某些编码风格过于严格，这可能导致模型学习到次优策略。未来的工作应探索如何检测和缓解这些系统性错误，以确保RLVR的稳健训练。