大型語言模型在科學推理任務中，不僅可能給出錯誤答案，更危險的是在用户提出批評時，從原本正確的答案轉向錯誤。這種現象在需要嚴謹邏輯的科學領域尤為嚴重，因為用户的負面反饋可能會將有效推理引導至錯誤方向。現有方法通常將批評交互定型為最終答案的準確性優化問題，忽略了交互過程中正確性狀態變化的複雜性。
針對這一挑戰，來自多個機構的研究團隊提出了ReCrit，一種過渡感知的強化學習框架。該框架將用户批評交互重新定義為回合間正確性過渡問題，而不是單純的最終答案准確率問題。研究識別出三大挑戰：過渡感知、將有用修正與有害諂媚行為解耦、以及可擴展的 rollout 策略。
ReCrit的核心創新在於將初始回答到批評後行為分解為四個象限：修正（Correction）、諂媚（Sycophancy）、魯棒（Robustness）和邊界（Boundary）。框架獎勵修正和魯棒行為，懲罰諂媚行為，並將持續錯誤視為弱邊界信號。通過這種四象限權重機制，訓練信號更加清晰可辨，從而使得模型能夠更準確地區分用户批評是有益的修正還是誤導性的諂媚。
為了讓交互訓練更實用，ReCrit還引入了動態異步回滾（dynamic asynchronous rollout）和尾部自適應完成（tail-adaptive completion）技術。動態異步回滾允許在不等待所有回合完成的情況下更新模型，而尾部自適應完成則針對長尾分佈進行優化，有效減少回滾等待時間。這些技術創新使得ReCrit在計算資源有限的情況下也能高效訓練。
實驗在三個科學推理基準——ChemBench、TRQA和EarthSE上進行了全面評估。基於Qwen3.5-4B模型，平均批評準確率從38.15提升至51.49，提升了13.34個百分點；基於Qwen3.5-9B模型，從45.40提升至55.59，提升了10.19個百分點。消融實驗表明，最終答案獎勵對交互層面增益甚微，而過渡感知獎勵和象限權重能產生更有區分度的訓練信號，帶來更大的批評階段淨改進。
該研究的代碼已在GitHub開源（https://github.com/black-yt/ReCrit），為後續科學推理中的人機交互優化提供了新的理論基礎和實用工具。這項研究不僅對學術界有重要價值，也對工業界開發更可靠的科學推理AI系統具有指導意義。