PermDoRA — 言語モデルにおけるアダプタ干渉の理解：パラメータ空間幾何学の限界
本論文は2026年6月9日にarXivへ投稿されたもの（arXiv:2606.11262）で、著者はGowtham Sivaramakrishnan氏、Sarvesha Kumar Kombaiah Seetha氏、Kishan Gupta Balaji氏、Santhosh Baradwaj Vaduvur Ranganathan氏の4名である。全18ページで、COLM 2026に採択され、機械学習（cs.LG）および人工知能（cs.AI）の分野に分類されている。
研究の出発点は、大規模言語モデル（LLM）におけるアクセス制御にある。特定のドメイン向けの振る舞いを実現するには、再学習を行わず、かつドメイン間の干渉も起こさないモジュール型の仕組みが必要となる。従来、アダプタの合成時に生じる干渉は線形なパラメータ更新の重なりに起因するという仮説が広く支持されてきた。この仮説に従えば、直交性や方向の独立性を強制すれば、マルチドメインでの性能が向上するはずである。
著者らはこの仮説を検証するため、重み分解型低ランク適応（weight-decomposed low-rank adaptation）に基づく階層的アダプタ合成フレームワーク「DoRA-RBAC」を構築した。そしてLLaMA-3.1-8BとMistral-7Bの2つのモデルを用い、GPQA、PubMedQA、SimpleQA、WMDPという複数の質問応答ベンチマークで、2種類のマージ手法を比較した。ひとつは従来型のユークリッド的マージ、もうひとつはフレシェ平均を正規化方向平均で近似する、幾何学を考慮したリーマン幾何インスパイアのマージ戦略である。
実験結果は示唆に富む。単一ドメインではDoRA-RBACの性能はLoRAと同等だったが、マルチドメイン設定では、幾何学を考慮したマージが標準的な平均化に対して一貫した優位性を示すことはなかった。さらに診断分析により、アダプタ更新の角度アラインメントや直交性は、合成後の性能を予測する指標としては弱いことが明らかになった。
これらの知見から著者らは、アダプタの干渉は主としてパラメータ空間の幾何学に支配されているのではなく、共有された非線形表現における相互作用と整合するものであると結論づけている。言い換えれば、線形パラメータ更新の方向関係だけに注目しても、複数アダプタの合成で生じる性能劣化を説明することも解決することもできないということだ。
この結論は、モジュール型LLMアクセス制御の研究方向に直接的な意味を持つ。今後の研究は、パラメータ空間上の幾何学的制約から、モデル内部の共有表現がどのように相互に影響し合うかという、より詳細な理解へと焦点を移すべきだという示唆である。論文の投稿日時は2026年6月9日02:52:48 UTCで、arXivのページにはコードやデータなどの関連リンク情報も掲載されている。