近年、大規模基盤モデルは自然言語処理やコード生成など多岐にわたるタスクで優れた性能を発揮しています。しかし、これらのモデルを特定の下流タスクにファインチューニングする際、事前学習で獲得した汎化能力が損なわれる「忘却」問題が深刻な課題となっています。既存の忘却を考慮した手法は、特殊な初期化や固定の制約を用いて安全な更新を目指しますが、訓練中に適応と保存のトレードオフを動的に調整することはできません。この問題に対処するため、韓国科学技術院（KAIST）などの研究チームは、FoLoRA（Foundation Preserving LoRA）という新しい忘却認識最適化フレームワークを提案しました。
FoLoRAの鍵は、一般化レイリー商を用いて各更新方向のタスク効用と忘却ペナルティの比を計算することにあります。まず、一次保存条件に基づき、忘却ペナルティを事前学習プロキシ活性化に対して定義し、タスク効用を下流タスク活性化に対して定義します。次に、一般化レイリー商を介して単位忘却ペナルティあたりのタスク効用を各更新方向にスコアリングします。これにより得られたスペクトル座標系を用いて、Adam最適化に方向別ゲート機構を導入し、効用対ペナルティ比の低い方向の更新を抑制します。これにより、訓練中に適応と保存のバランスを動的に調整します。
従来手法が固定のプロキシデータセットに依存するのに対し、FoLoRAは事前学習モデル自体からサンプリングしてプロキシ校正データを構築します。このアプローチにより、単一データセットのバイアスを回避し、忘却ペナルティのより正確な推定が可能になります。研究チームは数学推論、コード生成、指示追従タスクで実験を行い、FoLoRAがベースラインを上回る目標タスク性能を達成しつつ、非目標能力の保存においても最良のバランスを示すことを確認しました。例えば、数学推論タスクでは、コード生成能力を維持しながら数学問題の正解率を大幅に向上させました。
この研究は、忘却を考慮したファインチューニングに新たな視点を提供します。適応と保存のトレードオフを動的に調整することで、基盤モデルは新しいタスクに適応しながらも事前学習で獲得した広範な能力を保持できます。詳細な論文とコードはarXiv:2606.00132で公開されており、今後の研究の基盤となることが期待されます。