一篇新的论文《Rotation-Preserving Supervised Fine-Tuning》提出了旋转保持有监督微调（RPSFT），旨在解决监督微调（SFT）在提升域内性能时可能损害域外（OOD）泛化的关键问题。先前的研究表明，这种退化与预训练权重矩阵主奇异子空间的变化有关。然而，直接使用Hessian或Fisher信息识别损失敏感方向在大语言模型（LLM）规模下计算成本过高，限制了实际应用。RPSFT通过将预训练奇异子空间中的投影旋转作为Fisher敏感方向的高效代理，对每个预训练权重矩阵的top-k奇异向量块的投影变化进行惩罚，从而限制不必要的旋转，同时保持任务适配。
该方法的创新在于其计算高效性。与依赖二阶信息的昂贵方法不同，RPSFT仅需对权重矩阵进行奇异值分解（SVD），并在微调过程中添加一个正则化项，惩罚投影向量的变化。这使得RPSFT易于扩展到大型模型。实验在多种模型家族（如Pythia、LLaMA）和规模（从1.4B到7B参数）上进行，使用数学推理数据集（如GSM8K和MathQA）进行训练。结果表明，RPSFT在域内性能与OOD泛化之间取得了更好的权衡，显著优于标准SFT、LoRA、AdaLoRA等强基线方法。例如，在LLaMA-7B上，RPSFT在域内准确率提升的同时，OOD准确率下降幅度仅为标准SFT的一半。
此外，RPSFT更好地保留了预训练表示。通过线性探测实验，RPSFT微调后的模型在语言学和非语言学任务上保持了更高的表示质量。在后续的强化学习（RL）微调中，以RPSFT为初始化的模型表现出更快的收敛速度和更高的最终性能，证明了其作为预训练表示保护者的价值。代码已在GitHub开源（https://github.com/jinhangzhan/RPSFT.git），为社区提供了实用工具。这项研究为理解微调中的表示退化提供了新视角，并为训练更鲁棒的LLM指明了方向。