視覚言語モデル（VLM）は、画像の説明を生成する際に「物体幻覚」——実際の画像内容と矛盾する記述を生成する現象——に悩まされている。例えば、画像に存在しない物体を言及するなどである。この問題の主な原因は、モデルが言語的な事前知識に過度に依存し、視覚的な証拠を軽視することにある。この課題に取り組むため、研究チームによる最新の論文「幻想を打破する：マルチモーダル復号におけるポジティブとネガティブの融合」は、再学習を必要としない推論フレームワーク「ポジティブ・アンド・ネガティブ・デコーディング（PND）」を提案し、復号過程に直接介入することで視覚的忠実性を高める。
研究者らはまず、VLMの注意機構を詳細に分析し、重要な注意不均衡を発見した。復号中、視覚特徴の注意重みが系統的に過小評価され、言語特徴の重みが過大評価されていた。この発見はVLMが幻覚を生じる内在的なメカニズムを示している。この知見に基づき、PNDは二重経路対比を導入する。ポジティブ経路では視覚証拠の寄与を増幅して画像理解を強化し、モデルが視覚入力に依存するようにする。ネガティブ経路では反実仮想——言語事前知識と一致するが視覚的事実に反する生成——を構築し、言語事前知識に過度に依存する生成を抑制する。復号の各ステップで、モデルは両経路の出力を比較し、視覚的事実に近い結果を選択する。
実験では、PNDをPOPE（物体存在幻覚の評価）、MME（マルチモーダル評価）、CHAIR（記述レベルの幻覚率）などの標準ベンチマークで評価した。結果、PNDは追加学習なしで全てのベンチマークにおいて最先端の性能を達成し、既存のベースラインモデルや他の学習不要手法を有意に上回った。本成果はコンピュータビジョンのトップ会議CVPR 2026に採択され、論文は全11ページ、5つの図表を含み、コードも公開されている。これにより、VLMの幻覚問題に対する簡潔で効果的な解決策が提供され、推論段階での巧妙な設計による誤り訂正の可能性が示された。