arXivに最近公開された論文「FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning」は、Yequan Zhao氏ら6名の著者による研究成果である。この研究は、フルファインチューニング（Full FT）やLoRAなどのパラメータ効率ファインチューニング手法が、重み更新時に事前学習で確立されたスペクトル構造を考慮していない点を指摘する。その結果、限られたファインチューニングデータからのノイズを含む勾配が、事前学習済みのロバストな特徴を乱す可能性がある。研究者らは、スペクトル前処理を欠けている要素として特定した。各重み行列を全ランク特異値分解（SVD）で再パラメータ化し、一方の特異基底を凍結することで、更新を事前学習済みの列空間に制約する。これにより、同じ学習可能パラメータ数で無制約のFull FTを上回る前処理付き最適化スキームが得られる。
この知見に基づき、研究チームはFuRA（Full-Rank Adaptation）を提案する。これはブロックテンソルトレイン分解W = LSRに基づく効率的な全ランク適応フレームワークである。大きなコアLは事前学習済みのブロック単位SVD基底に固定され、コンパクトなコアRとブロック単位特異値Sのみが最適化される。この設計により、全ランクスペクトル前処理、全ランク更新の表現力保持、そしてLoRAと同等のパラメータ・メモリ・ステップ時間効率を同時に実現する。
実験では、FuRAが複数の設定でFull FTを一貫して上回ることが示された。LLaMA-3-8Bの常識推論では+1.37の改善を達成し、数学推論のためのLLM強化学習や、視覚言語モデル（VLM）の視覚指示チューニングでも優れた性能を発揮する。さらに、4ビット量子化版のQFuRAもQLoRAを上回る。コードはGitHub（https://github.com/olokevin/FuRA-NIPS）で公開されている。
本論文は2026年5月19日に投稿され、機械学習（cs.LG）分野に属する。研究の意義は、スペクトル前処理をパラメータ効率ファインチューニングに初めて導入し、限られたデータ下で事前学習特徴の安定性を保つための新たな理論的視点と実用的ツールを提供する点にある。FuRAの成功は、事前学習重みのスペクトル構造を尊重することで、全ランク更新の表現力とLoRAレベルの効率を両立できることを示しており、今後のファインチューニング手法の設計方向に影響を与える可能性がある。