一篇新的論文《Rotation-Preserving Supervised Fine-Tuning》提出了旋轉保持有監督微調（RPSFT），旨在解決監督微調（SFT）在提升域內效能時可能損害域外（OOD）泛化的關鍵問題。先前的研究表明，這種退化與預訓練權重矩陣主奇異子空間的變化有關。然而，直接使用Hessian或Fisher資訊識別損失敏感方向在大語言模型（LLM）規模下計算成本過高，限制了實際應用。RPSFT透過將預訓練奇異子空間中的投影旋轉作為Fisher敏感方向的高效代理，對每個預訓練權重矩陣的top-k奇異向量塊的投影變化進行懲罰，從而限制不必要的旋轉，同時保持任務適配。
該方法的創新在於其計算高效性。與依賴二階資訊的昂貴方法不同，RPSFT僅需對權重矩陣進行奇異值分解（SVD），並在微調過程中新增一個正則化項，懲罰投影向量的變化。這使得RPSFT易於擴充套件到大型模型。實驗在多種模型家族（如Pythia、LLaMA）和規模（從1.4B到7B引數）上進行，使用數學推理資料集（如GSM8K和MathQA）進行訓練。結果表明，RPSFT在域內效能與OOD泛化之間取得了更好的權衡，顯著優於標準SFT、LoRA、AdaLoRA等強基線方法。例如，在LLaMA-7B上，RPSFT在域內準確率提升的同時，OOD準確率下降幅度僅為標準SFT的一半。
此外，RPSFT更好地保留了預訓練表示。透過線性探測實驗，RPSFT微調後的模型在語言學和非語言學任務上保持了更高的表示質量。在後續的強化學習（RL）微調中，以RPSFT為初始化的模型表現出更快的收斂速度和更高的最終效能，證明了其作為預訓練表示保護者的價值。程式碼已在GitHub開源（https://github.com/jinhangzhan/RPSFT.git），為社群提供了實用工具。這項研究為理解微調中的表示退化提供了新視角，併為訓練更魯棒的LLM指明瞭方向。