LoRAを超えて：スパース性誘導適応はより優れているか？

近年、低ランク適応（LoRA）は、事前学習モデルの完全な微調整に代わるメモリ効率の良い手法として広く利用されています。しかし、LoRAの構造的な制約が汎化性能にどのような影響を与えるかについては、まだ多くの疑問が残っています。arXivに投稿された論文「Beyond LoRA: Is Sparsity-Induced Adaptation Better?」では、Elijah Cadenheadらが、既存のLoRA変種にスパース性を導入することで、よりシンプルで経済的なパラメータ効率的微調整（PEFT）手法を提案しています。

この研究では、まず完全微調整、オリジナルのLoRA、およびその様々な変種の歴史的な枠組みを提示します。LoRAは低ランク分解によって学習可能なパラメータを大幅に削減しますが、その構造的制限が汎化性能に与える影響は未だ明らかではありません。著者らは、Cheap LoRA（cLA）とチェーン循環変種（c³LA）という2つの新しい手法を導入します。cLAは、一方の低ランク因子を固定（決定論的または確率論的）し、他方のみを訓練することで、訓練可能パラメータを劇的に削減します。c³LAはさらに循環構造を導入し、より効率的なパラメータ表現を実現します。cLAは非対称LoRAの構造化インスタンスとして位置づけられ、完全微調整の制御された列部分空間制限として機能します。

理論的には、著者らはこれらの変種に対して情報理論的汎化誤差限界を導出し、これはこの分野における初めての試みの一つです。これらの限界は相互情報量とPAC-Bayesフレームワークに基づいており、LoRA変種の汎化能力を比較するためのより一貫性のある原則的な尺度を提供します。実験では、11の微調整手法、10の事前学習モデル（異なるアーキテクチャと規模を含む）、14のデータセットを対象とし、損失ランドスケープやスペクトル分析などのツールを用いて性能を評価しました。その結果、微調整の結果は事前学習モデルやデータセットなどの要因に敏感であるものの、LoRAベースのPEFT手法の適応をスパースで構造化された列空間に制限することで、パラメータマッチングされたベースラインと比較して、様々なタスクで競争力を維持しながら、トレーニング時間を最大10%、ピークGPUメモリ消費を最大15%削減できることが示されました（単純な非最適化スパース実装でも）。

この研究は、より一貫性のある原則的な汎化尺度を提供するだけでなく、スパース構造が効果的な正則化戦略として機能し、汎化能力を向上させる可能性があることを示唆しています。論文の概要とコードはhttps://elicaden.github.io/Beyond_LoRA/で公開されており、リソースが限られた環境でのコスト効率の良い適応のための新たな道を開くものです。