ReCoLoRA: 継続的LLMファインチューニングのためのスペクトル認識再帰的統合

大規模言語モデル（LLM）の継続的ファインチューニングでは、破滅的忘却が主要な課題である。モデルがタスクを順次学習する際、新しいタスクが以前の知識を上書きし、学習済みの能力が急速に劣化する。既存のパラメータ効率的な手法、例えばLoRAは、凍結された事前学習済み重みに低ランク更新を積み重ねることで新しいタスクに適応する。しかし、この方法はタスク間の知識保持を明示的に考慮しておらず、各新タスクが以前のタスク知識を上書きしやすい。

この問題に対して、研究者チームはReCoLoRA（Recursive Consolidation of Low-Rank Adapters）を提案した。これはスペクトル認識に基づく再帰的統合フレームワークである。ReCoLoRAの設計は3つの重要なステップから成る。まず、ランダム特異値分解（SVD）を用いて事前学習済み重みからアダプタを初期化し、エルボー基準によって各層の有効ランクを自動選択する。これにより、ランクのハイパーパラメータ調整が不要になる。訓練中は主成分部分空間を優先的に適応させ、その後残差容量を開放して残りの情報を捕捉する。

ReCoLoRAを既存手法と真に区別するのは、その再帰的統合メカニズムである。新しいタスクの開始前に、ReCoLoRAは元の事前学習済み重みではなく、現在の有効重みを再分解する。重みは3つの部分に分割される：凍結された残差部分、ゆっくりと更新される主成分部分、および新しいアダプタ。この設計により、各新タスクは以前のタスク知識を吸収したモデル状態から開始され、破滅的忘却を効果的に軽減する。

実験では、4つのパラメータ規模7-8Bのバックボーンネットワーク（Llama、Mistralなど）上で、継続的GLUEベンチマークの6タスクシーケンスを用いて評価を行った。比較対象としてLoRA、PiSSA、AdaLoRA、DoRAなどの主要手法を含めた。結果、ReCoLoRAは4つのバックボーンのうち3つで最高平均スコアを達成し、訓練パラメータ数は比較手法以下であった。また、タスクバンクを用いたoracle-routed変種が完全タスク分離の上限として有効性をさらに検証した。

ReCoLoRAはLLMの継続学習に対する効率的かつスケーラブルなソリューションを提供する。コードはGitHubで公開されており（https://github.com/bhqy666/ReCoLoRA）、コミュニティによる再現とさらなる探求が可能である。本研究成果はarXivにて公開され、著者はWentao Lu、2026年7月投稿。