FuRA: スペクトル事前条件付けによるフルランクパラメータ効率の良いファインチューニング

近年、FuRA（Full-Rank Adaptation）という新しい手法がAIのファインチューニング分野で注目を集めています。この手法はYequan Zhaoらによって提案され、フルファインチューニング（Full FT）やLoRAなどのパラメータ効率的な手法が、事前学習で確立されたスペクトル構造を考慮していないという問題を解決します。既存手法では、限られたファインチューニングデータからのノイズの多い勾配が、頑健な事前学習済み特徴を乱してしまいます。研究者らは、スペクトル事前条件付け（spectral preconditioning）が欠けている要素であると特定しました。各重み行列をそのフルランク特異値分解（SVD）で再パラメータ化し、1つの特異基底を固定することで、更新を事前学習済み列空間に制約し、同じ訓練可能パラメータ数で制約のないフルFTより優れた最適化を実現します。

この洞察に基づき、FuRAはブロックテンソルトレイン分解W = LSRを採用します。ここで、大きなコアLは事前学習済みのブロック単位SVD基底に固定され、コンパクトなコアRとブロック単位の特異値Sのみが最適化されます。この設計により、フルランクのスペクトル事前条件付け、フルランク更新の表現力の保持、そしてLoRAと同等のパラメータ・メモリ・ステップ時間効率を同時に達成します。実験では、FuRAは様々な設定でフルFTを一貫して上回りました。大規模言語モデルLLaMA-3-8Bの常識推論で+1.37の向上を示し、数学推論のための強化学習や、視覚言語モデルの視覚命令チューニングでも優れた結果を収めました。さらに、4ビット量子化版のQFuRAもQLoRAを凌駕しています。FuRAのコードはGitHubで公開されており、再現可能な実装が提供されています。この研究は、パラメータ効率的なファインチューニングの新たな方向性を示すものであり、大規模モデルの微調整技術の進展に貢献することが期待されます。