RSLoRA: 表現感度プロービングによるLoRAの訓練不要ランク割り当て

低ランク適応（LoRA）はパラメータ効率的な微調整（PEFT）の基盤技術となっていますが、従来の均一なランク割り当てはニューラル層の機能的不均一性を無視しています。既存のランク割り当て手法は、計算負荷とヒューリスティックな単純性のトレードオフに悩まされています。訓練ベースの手法は過大なオーバーヘッドを伴い、事前割り当て手法は動的なタスク固有の表現多様体を捉えられません。本研究では、活性化空間の幾何学に基づく訓練不要・勾配不要のランク割り当て手法RSLoRA（Representational Sensitivity LoRA）を提案します。層を横断した「感度領域シフト」を特定し、静的ウェイト分析や局所勾配だけでは更新がモデルの内部表現をどのように再形成するかを反映できないことを観察しました。これに対処するため、RSLoRAは仮想的な表現プロービングメカニズムを導入します。構造化低ランクノイズによる適応をシミュレーションし、有効ランクとフレシェ距離を用いて生じる多様体変位を測定することで、より高いランク容量を必要とする高感度モジュールを特定します。このフレームワークは、専門家が設計したヒューリスティックと実際の表現影響との間のギャップを効果的に橋渡しします。広範な評価により、RSLoRAはAdaLoRAやGoRAなどの最先端割り当て手法を主流ベンチマークで一貫して上回ることが実証されました。反復的な訓練時調整や逆方向勾配の必要性を排除することで、RSLoRAは大規模モデル適応のための非常に効率的でロバスト、かつ表現認識型のソリューションを提供します。本論文はJiaqi Liuらにより執筆され、2026年7月5日にarXivに提出されました。論文番号は2607.09757で、全16ページ、3図を含みます。対象分野はコンピュータビジョン（cs.CV）および人工知能（cs.AI）です。この手法は、計算効率と表現の質の両面で優れており、今後の大規模モデル微調整における標準的なアプローチとなる可能性があります。