勾配と自然勾配の間：LoRA初期化の連続体

低ランク適応（LoRA）は大規模モデルを効率的に微調整する手法だが、その性能はアダプタの初期化方法に大きく依存する。近年、下流損失勾配に基づく初期化スキームが提案されている。生の勾配をその主方向に射影するものもあれば、損失曲率の推定で白色化するものもある。arXivに投稿された論文「Between Gradient and Natural Gradient: A Continuum of LoRA Initializations」は、これらの一見異なる手法が単一の連続体上の点であることを示す。この連続体はULoRA（Unified LoRA）と呼ばれる2パラメータの前処理付き勾配初期化族であり、スペクトル白色化指数とAdam類似の対角指数によって制御される。

学習率を網羅的に探索した結果、固定された前処理の強度が常に最適であるわけではなく、最適な動作点はタスク依存であり、多くの場合、連続体の内部に存在することが明らかになった。この族の上限として、調整されたULoRA構成はRoBERTa-baseモデルのGLUE全5タスクで完全微調整に匹敵またはそれを上回り、LLaMA-2-7BのGSM8Kタスクでは最強のベースラインと競合する。さらに、探索不要で実用的な変種ULoRA-Autoが提案された。これは、測定されたスペクトル統計量から層ごとの指数を選択し、追加の探索コストなしで上限に近づく。実用的なLoRA手法の中でトップクラスの性能を達成する。

これらの結果は、LoRA初期化と曲率前処理の設計空間を固定された設計決定ではなく、調整可能な次元として扱うべきであることを示している。また、ULoRA-Autoは実運用において手動調整なしで高性能を達成できる点で重要である。この研究は、LoRAの初期化に関する理論的基盤を提供し、適応的初期化の実用的価値を示している。