統合マルチモーダルモデル（UMM）は、マルチモーダル理解と生成を単一の自己回帰Transformer内に統合する有望なパラダイムとして最近注目を集めている。しかし、マルチモーダル指示チューニング中、これらのモデルはしばしば顕著なモダリティ不均衡を示す。言語勾配が最適化を支配し、特にLoRAのようなパラメータ効率的な微調整の下で画像生成品質が低下する。
Xiwen Weiら4名の著者による論文「Pareto LoRA: Mitigating Modality Imbalance in Unified Multimodal Models via Pareto-Optimal Gradient Integration」は、交差テキスト画像生成のためのUMMのLoRAベース微調整におけるモダリティ不均衡を系統的に分析している。研究は、単一モダリティの対応モデルと比較して、視覚モダリティの性能がテキストモダリティよりもはるかに大きく劣化することを示し、モダリティ固有の勾配がさまざまなタスクや層で桁違いに異なり得ることを明らかにした。この観察は、既存の微調整方法がマルチモーダル目的のバランスを取る上で不十分であることを浮き彫りにしている。
この観察に動機づけられ、著者らはマルチモーダル指示チューニングを二目的最適化問題として再定式化し、Pareto LoRAを提案する。これは、勾配の方向と強度を変調することにより、テキストと画像の二つの目的をバランスさせるパレート最適な勾配統合戦略である。具体的には、Pareto LoRAは最適化プロセス中に二つのモダリティの勾配寄与を動的に調整し、いずれかのモダリティがトレーニングを支配するのを防ぎ、よりバランスの取れたマルチモーダル生成能力を促進する。
実験はCoMMベンチマーク上でEmu2モデルを用いて検証された。結果は、Pareto LoRAがマルチモーダル生成のバランスを一貫して改善し、バニラLoRAと比較して知覚画像品質で最大44.9%の向上を達成しながら、テキスト性能を同等に維持することを示している。この研究は、統合マルチモーダルモデルの効率的な微調整に新たな視点を提供し、勾配レベルでのモダリティバランスの重要性を強調している。
論文は2026年6月15日に提出され、コンピュータビジョンとパターン認識（cs.CV）分野に属し、arXiv番号は2606.17296である。研究チームにはXiwen Weiを含む4名の著者がいる。この方法の提案は、パラメータ効率的な微調整シナリオ、特にテキストと画像のタスクを同時に処理する必要がある交差生成シナリオにおいて、マルチモーダル生成モデルの実用的応用を促進することが期待される。