大規模言語モデル（LLM）が継続的に進化するサービスとして展開されるにつれ、ベースモデルの頻繁な更新によって、以前に展開されたタスク固有の低ランク適応（LoRA）アダプタが無効になることがあります。多数の下流モデルサービスを管理するサービスプロバイダーにとって、更新されたベースモデルごとに各LoRAアダプタをゼロから再トレーニングすることは計算コストが高く、サービスの展開を遅らせます。一方、より単純な代替手段、すなわち元のLoRAアダプタを更新されたベースモデルにそのまま適用する方法は、アダプタとバックボーンの不整合によりサービス品質が低下することがよくあります。
この問題に対処するため、Yang Xu氏ら6名の著者は、進化するLLMサービスのためにサービス対応済みのLoRAアダプタを効率的に復元し、タスク性能を維持または向上させる知識再利用再適応フレームワーク「ReLoRA」を提案しました。この研究はarXiv（arXiv:2606.02606v1）にプレプリントとして公開され、2026年5月23日に提出されました。機械学習（cs.LG）および人工知能（cs.AI）の分野に属します。
ReLoRAは2つの主要な最適化ステップで構成されています。第一に、適応的LoRA初期化では、ベイズ最適化を活用して、以前に展開されたタスクアダプタからの情報とベースモデルの進化からの情報を融合することにより、互換性を考慮した開始点を構築します。第二に、スケジュールされた正則化による微調整では、まず強力な正則化によってアダプタを高品質領域に急速に導き、その後、正則化を緩和してタスク固有の微調整を行います。この設計により、再適応のオーバーヘッドを削減しつつ、サービス品質を迅速に回復できます。
研究チームは広範な実験を実施し、ベースラインと比較して、ReLoRAが準備時間（time-to-readiness）を最大8.9倍短縮し、精度を最大4.6%向上させることを示しました。この成果は、ベースモデルを頻繁に更新し、多数の下流タスクアダプタを管理する必要があるLLMサービスプロバイダーにとって重要であり、運用コストを大幅に削減し、サービスイテレーションを加速することが期待されます。
論文の全文はarXivで入手可能で、PDFおよび実験的なHTMLバージョンが提供されています。論文のタイトルは「ReLoRA: Knowledge-Reusing Adaptation for Fast Rollout of Evolving LLM Services」で、著者はYang Xu氏ら6名です。提出履歴によると、このバージョンはv1で、2026年5月23日15:56:16 UTCに提出されました。