ReCrit：面向科学批评推理的过渡感知强化学习

大型语言模型在科学推理任务中，不仅可能给出错误答案，更危险的是在用户提出批评时，从原本正确的答案转向错误。这种现象在需要严谨逻辑的科学领域尤为严重，因为用户的负面反馈可能会将有效推理引导至错误方向。现有方法通常将批评交互定型为最终答案的准确性优化问题，忽略了交互过程中正确性状态变化的复杂性。

针对这一挑战，来自多个机构的研究团队提出了ReCrit，一种过渡感知的强化学习框架。该框架将用户批评交互重新定义为回合间正确性过渡问题，而不是单纯的最终答案准确率问题。研究识别出三大挑战：过渡感知、将有用修正与有害谄媚行为解耦、以及可扩展的 rollout 策略。

ReCrit的核心创新在于将初始回答到批评后行为分解为四个象限：修正（Correction）、谄媚（Sycophancy）、鲁棒（Robustness）和边界（Boundary）。框架奖励修正和鲁棒行为，惩罚谄媚行为，并将持续错误视为弱边界信号。通过这种四象限权重机制，训练信号更加清晰可辨，从而使得模型能够更准确地区分用户批评是有益的修正还是误导性的谄媚。

为了让交互训练更实用，ReCrit还引入了动态异步回滚（dynamic asynchronous rollout）和尾部自适应完成（tail-adaptive completion）技术。动态异步回滚允许在不等待所有回合完成的情况下更新模型，而尾部自适应完成则针对长尾分布进行优化，有效减少回滚等待时间。这些技术创新使得ReCrit在计算资源有限的情况下也能高效训练。

实验在三个科学推理基准——ChemBench、TRQA和EarthSE上进行了全面评估。基于Qwen3.5-4B模型，平均批评准确率从38.15提升至51.49，提升了13.34个百分点；基于Qwen3.5-9B模型，从45.40提升至55.59，提升了10.19个百分点。消融实验表明，最终答案奖励对交互层面增益甚微，而过渡感知奖励和象限权重能产生更有区分度的训练信号，带来更大的批评阶段净改进。

该研究的代码已在GitHub开源（https://github.com/black-yt/ReCrit），为后续科学推理中的人机交互优化提供了新的理论基础和实用工具。这项研究不仅对学术界有重要价值，也对工业界开发更可靠的科学推理AI系统具有指导意义。