新しい論文「Rotation-Preserving Supervised Fine-Tuning」は、教師ありファインチューニング（SFT）がドメイン内性能を向上させる一方で、ドメイン外（OOD）汎化を損なう可能性があるという問題に取り組むため、回転保存型教師ありファインチューニング（RPSFT）を提案しています。先行研究では、この劣化は事前学習済み重み行列の主特異部分空間の変化に関連していることが示唆されていますが、HessianやFisher情報を用いて損失に敏感な方向を直接特定することは、大規模言語モデル（LLM）の規模では計算コストが高くなります。RPSFTは、事前学習済み特異部分空間内の射影回転をFisherに敏感な方向の効率的なプロキシとして保持し、各事前学習済み重み行列の上位k個の特異ベクトルブロックの射影変化をペナルティすることで、不要な回転を制限しつつタスク適応を維持します。
この手法の革新性は、その計算効率にあります。二階情報に依存する高コストな手法とは異なり、RPSFTは重み行列の特異値分解（SVD）のみを必要とし、微調整中に射影ベクトルの変化を罰則する正則化項を追加するだけで済みます。そのため、大規模モデルにも容易に適用できます。実験は、複数のモデルファミリー（Pythia、LLaMAなど）と規模（1.4Bから7Bパラメータ）にわたり、数学推論データセット（GSM8KやMathQAなど）を用いて実施されました。結果は、RPSFTがドメイン内性能とOOD汎化のトレードオフを改善し、標準的なSFT、LoRA、AdaLoRAなどの強力なベースラインを大幅に上回ることを示しています。例えば、LLaMA-7Bでは、RPSFTはドメイン内精度を向上させながら、OOD精度の低下を標準SFTの半分に抑えました。
さらに、RPSFTは事前学習済み表現をよりよく保持します。線形プロービング実験を通じて、RPSFTで微調整されたモデルは、言語学的および非言語学的タスクにおいて高い表現品質を維持しました。その後の強化学習（RL）微調整では、RPSFTを初期化として使用したモデルは、より速い収束とより高い最終性能を示し、事前学習表現の保護者としての価値を証明しました。コードはGitHubで公開されており（https://github.com/jinhangzhan/RPSFT.git）、コミュニティに実用的なツールを提供しています。この研究は、微調整における表現劣化の理解に新たな視点をもたらし、より堅牢なLLMのトレーニングへの道を示しています。