一篇新近提交至 arXiv 的论文从机制层面探讨了大型语言模型在微调过程中出现的灾难性遗忘问题，并试图解释为何强化学习（RL）比监督微调（SFT）更能保留模型的既有能力。该论文编号为 arXiv:2605.28860，于 2026 年 5 月 21 日提交，作者为 Jeanmely Rojas Nunez 等七人，研究领域涵盖机器学习（cs.LG）、人工智能（cs.AI）与计算语言学（cs.CL）。此前已有研究表明，RL 相比 SFT 能更有效地维持模型的原有能力，并将原因归结为策略梯度更新后模型仍更接近基础策略。这项新工作把这一行为层面的解释推进到机制层面，追问 RL 的优势是否同样体现在内部计算回路的保留程度上。
为回答这一问题，研究团队提出了“差异化回路脆弱性”（differential circuit vulnerability）这一指标。该指标在注意力头（head）层面衡量某一计算回路在微调过程中退化的程度，从而把抽象的“能力遗忘”转化为可量化的回路损伤。作者以 Qwen2.5-3B-Instruct 为实验对象，将其适配到科学问答任务上，并在相同条件下比较 RL 与 SFT 两种微调方式对模型内部回路的影响。
实验揭示出一个清晰的机制层面权衡：SFT 能更快地适配目标任务，但对模型原有计算回路的破坏明显更大，并伴随更严重的既有能力遗忘；相比之下，RL 能保留更大比例的基础回路，代价是任务适配速度较慢。换言之，RL 的稳健性并非没有成本，它以学习效率换取了结构上的稳定性。作者认为，回路保留情况可能有助于解释 RL 为何对灾难性遗忘更具鲁棒性，这也为理解两种微调范式的差异提供了新的视角。
论文同时公开了代码，托管于 GitHub 的 rl-sft-circuit-research/differential-circuit-vulnerability 仓库，便于后续研究复现与扩展。需要注意的是，该研究基于单一模型（Qwen2.5-3B-Instruct）和单一目标任务（科学问答），其结论能否推广到更大规模模型和其他任务类型仍有待验证。此外，“回路脆弱性”作为注意力头层面的度量，其与宏观能力遗忘之间的因果联系也需要更多工作来厘清。尽管如此，这项工作把行为观察与内部机制联系起来，为在实际部署中选择微调策略提供了有价值的参考。