LoRAを超えて：最も人気のあるファインチューニング技術を打ち負かせるか？

パラメータ効率的な方法でモデルをファインチューニングする計画を立てる際、LoRAだけに頼ってはいけません。LoRA（Low-Rank Adaptation）はパラメータ効率的ファインチューニング（PEFT）技術の中で最も人気がありますが、特定のタスクでは他の手法がより優れた性能を発揮することが研究で示されています。Hugging FaceのPEFTライブラリは多数のPEFT技術を実装し、統一されたAPIとベンチマークを提供して、ユーザーが情報に基づいた選択を行えるように支援します。

PEFT技術は少数のパラメータのみを微調整することでメモリ要件を大幅に削減し、量子化やマルチタスクファインチューニングもサポートします。LoRAが普及したのは早期に登場し広くサポートされたためですが、その結果、ユーザーがより良い選択肢を見逃す可能性があります。LoRAを凌駕すると主張する論文は多数存在しますが、研究バイアスや比較可能性の問題により、それらの結果は必ずしも信頼できません。例えば、学習率を調整するだけでLoRAが他のPEFT技術に匹敵することを示した研究もあります（https://arxiv.org/abs/2602.04998）。

Hugging FaceのPEFTベンチマークは、同一条件下で複数の技術を評価し、テスト性能、メモリ使用量、実行時間、チェックポイントサイズなどの指標を追跡します。LLMの数学推論（MetaMathQA）と画像生成（猫のぬいぐるみデータセット）のタスクに関するテストでは、LoRAは良好な結果を示したものの、すべての指標で最適とは限りませんでした。数学タスクでは、LoRA（ランク安定化初期化使用）が53.2%のテスト精度、ピーク時22.6 GBのメモリを達成したのに対し、Lilyは54.9%の精度で25.6 GB、BEFTは20.2 GBのメモリで32.9%の精度でした。通常のLoRAは48.1%の精度に留まりました。画像生成タスクでは、OFTが類似度スコア（0.708対0.697）とメモリ使用量（9.01 GB対9.97 GB）の両方でLoRAを上回りました。

したがって、ユーザーは自身の優先順位（精度、メモリ、速度など）に基づいてPEFT技術を選択すべきです。PEFTライブラリを使用すれば、異なる技術を簡単に比較でき、独自の実験を貢献することも可能です。要するに、デフォルトでLoRAを選ばず、他の選択肢を探ることでより良い結果が得られる可能性があります。なお、ベンチマークのハイパーパラメータ選択は結果に影響を与える可能性がありますが、コミュニティは貢献を通じて改善できます。