強化學習與可驗證獎勵（RLVR）已成為提升大型語言模型推理能力的強大方法。RLVR專為具有可驗證正確答案的任務設計，但現實中的驗證器（如靜態代碼檢查器）可能向獎勵信號引入錯誤。以往分析通常將這些錯誤視為隨機且獨立，認為它們僅會減慢訓練，對最終性能影響有限。然而，實際驗證器往往表現出系統性錯誤，這可能導致模型從結構錯誤的獎勵信號中學習到不期望的一致行為。
本研究通過算術任務上的受控實驗，系統評估了這類錯誤的影響。作者來自蘇黎世聯邦理工學院等機構，論文於2026年4月提交。實驗設計了不同模式的系統性假陰性和假陽性錯誤，觀察對RLVR訓練的影響。結果顯示，系統性假陰性與隨機噪聲類似，只會造成訓練延遲而不顯著改變最終性能。相反，系統性假陽性可能引發從次優平台期到性能崩潰的廣泛行為。關鍵的是，這些結果並非由總體錯誤率決定，而是由錯誤的特定模式決定，這使得事前緩解變得困難。
與先前結論相反，現實中的驗證器錯誤可能對RLVR結果產生關鍵影響。因此，驗證器質量必須超越樣本級錯誤率來評估，考慮錯誤的結構和模式。這一發現對於部署RLVR系統的實際應用具有重要意義，提示需要在驗證器設計和錯誤分析上投入更多關注。此外，該研究還指出，常見的驗證器（如代碼檢查器）往往具有系統性偏差，例如對某些編碼風格過於嚴格，這可能導致模型學習到次優策略。未來的工作應探索如何檢測和緩解這些系統性錯誤，以確保RLVR的穩健訓練。