近年、マルチモーダル大規模言語モデル（MLLM）は視覚と言語を統合するタスクで顕著な進歩を遂げていますが、画像に存在しないオブジェクトを記述してしまう「オブジェクト幻覚」は依然として重大な問題です。これまでの研究は、この幻覚の主因を言語事前分布、例えばテキストの共起統計への過度の依存に帰してきました。そのため、モデルが視覚的証拠が不十分な場合でも、統計的に頻出するオブジェクト名を生成しやすい傾向があると説明されてきました。
しかし、arXivに投稿された最新の論文「言語事前分布を超えて：マルチモーダルLLMにおける視覚由来幻覚の診断と修正」（著者にはPeiyang Xu氏らが含まれる）は、この見解に異議を唱え、未だ十分に探求されていない補完的な原因を提示しています。それは「視覚由来幻覚（visual-origin hallucination）」と呼ばれるもので、誤った視覚特徴抽出と、画像とテキストの埋め込み空間の間の不整合によって引き起こされます。これはモデルの視覚エンコーディング過程の内部欠陥に由来するもので、言語的な偏向とは独立に発生します。
研究チームは、この仮説を検証するために二つの分析を実施しました。第一に、コサイン類似度分析により、幻覚を含むサンプルと正常なサンプルそれぞれについて、画像とテキストの埋め込み間の類似度を測定しました。その結果、幻覚サンプルでは平均類似度が系統的に低いことが明らかになりました（平均0.158対-0.122）。第二に、Smooth Grad-CAMのエントロピー解析を用いて、モデルの注意パターンを調べました。すると、対象オブジェクトが画像内に存在する場合には注意が分散してしまい、逆にオブジェクトが存在しない場合には誤った領域に注意が集中するという、逆転した注意パターンが観察されました。これらの発見は、幻覚が単なる言語的な推測ではなく、視覚特徴抽出段階での誤りに起因している可能性を強く示唆します。
この診断結果に基づき、研究者らは「対抗的コントラストファインチューニング（Adversarial Contrastive Fine-Tuning, ACFT）」を提案しています。ACFTの核となるのは「対抗的幻覚属性反転（Adversarial Hallucination Attribute Flipping, AHAF）」という手順です。AHAFでは、画像に対して最小限かつ対象を絞った対抗的摂動を加えることで、その画像の幻覚属性を人為的に反転させます（例えば、幻覚を引き起こす画像から幻覚を起こさない画像へ、またはその逆）。この摂動は画像の通常の内容を変えるものではなく、モデルが幻覚を起こすかどうかにのみ影響を与えるように設計されます。こうして、視覚的にはほぼ同じでありながら幻覚状態が異なる、完全に整合した正例と負例のペアを構築できるのです。
その後、これらのペアを用いて対比微調整（contrastive fine-tuning）を行い、モデルがよりロバストな視覚的表現を学習するように促します。興味深いことに、AHAFは単なるデータ拡張ツールに留まらず、診断プローブとしても機能します。実験の結果、MLLMの視覚的表现は幻覚の決定境界に危険なほど近接していることが明らかになり、小さな視覚的变化が幻覚を引き起こす可能性を示唆しています。
ACFTの実用性は際立っています。必要なデータはCOCOデータセットのわずか0.9%であり、推論時のオーバーヘッドは一切ありません。つまり、モデルの推論速度やリソース消費を増やすことなく、既存のモデルに容易に適用できます。著者らは、LLaVA、MiniGPT-4、Qwen2.5-VLなどの複数のモデルで評価を行い、POPE、MME、および4つの記述レベルの幻覚ベンチマークにおいて、最先端の性能を達成しました。さらに、コードは公開されており、研究者や開発者が結果を再現し、さらなる改良を加えることが可能です。
本研究は、MLLMの幻覚問題への対処には、言語事前分布の管理と同時に、視覚的特徴抽出と画像-テキスト整合性の改善が不可欠であることを強調しています。ACFTは、そのための実用的かつ効率的なソリューションを提供します。今後の研究では、対抗的摂動と対比学習を組み合わせて視覚表現の頑健性を高めることや、より精密な視覚エラー診断ツールを開発することが期待されるでしょう。