マルチモーダル大規模言語モデル（MLLM）は、視覚情報と言語理解を組み合わせることで目覚ましい能力を発揮している。その性能をさらに向上させる効果的なアプローチとして、表現アライメントが注目されている。これは、モデルの内部表現を外部の視覚エンコーダの表現に近づけるように正則化する手法である。しかし、既存の手法は言語バックボーンの固定された層を整列させるのが一般的で、Transformerモデルの細かな構造を無視している。
この問題に対処するため、arXivに投稿された新しい論文では、Head-Wise Representation Alignment（HeRA）を提案している。これは、個々のアテンションヘッドのレベルでクロスモーダル整列を強制する手法である。このアプローチはプラトン的表現仮説に基づいており、モダリティ間で表現のトポロジー構造（すなわち局所的な近傍関係）を保持することに焦点を当てている。具体的には、相互K最近傍（MKNN）アライメント指標に従い、局所構造を一致させるための微分可能な代理として機能する対照目的関数を導入する。
HeRAは、この目的関数をマルチモーダル訓練中にLLM内の特定のアテンションヘッドに適用する。これらのヘッドは、MKNN指標に基づくアライメントスコアによって選択される。直感に反するが、最も整列していないヘッドを整列させることが最大の性能向上をもたらすことを発見した。この発見は、モデル内部に冗長または十分に活用されていない表現能力が存在することを明らかにしている。
方法の有効性を検証するため、著者らは複数のMLLMと18のベンチマークで広範な評価を実施した。その結果、HeRAは挑戦的な視覚中心タスクで一貫して性能を向上させ、視覚ハルシネーションに対する効果的な正則化器として機能することが示された。そのメカニズムは、言語事前分布への過度の依存を自然に抑制し、モデルが視覚入力に忠実に基づいて回答を生成するように促すことにある。
本論文はDavide Caffagni氏ら8名の著者によって執筆され、2026年6月22日に提出された。計算機視覚、人工知能、計算言語学、マルチメディアなどの分野にまたがる。コードは公開されており、コミュニティによる再現とさらなる研究が可能である。