視覚言語モデル（VLM）は、画像が提供されなくても、画像に基づく質問に対して自信を持って、しばしば正確に答えることができる。この「ミラージュ」行動は、視覚的基盤を反映することなくベンチマークスコアを膨らませる。従来の研究ではこれを単一の失敗モードとして扱ってきたが、新しい論文はそれが2つあると主張する。
研究チームは「Mirage Probes」と呼ばれる対照プロービングフレームワークを提案する。これは、同じ画像上で言い換えられた質問変種を、ミラージュありとミラージュなしのラベルと一致させるものである。このフレームワークを用いて、2つのオープンソースVLMにおいて、ミラージュ行動が残差ストリーム、MLP、ポストアテンション、アテンションヘッドなどの内部活性化から線形にデコード可能であることを示した。
表面的な語彙の交絡を排除するため、チームはナイーブベイズのテキストベースラインをテストし、それがこの信号を回復できないことを明らかにした。さらに、ベンチマーク間の分離可能性パターンと、新しく導入された事前活用指数（PHI）が、2つの異なるレジームを明らかにする。PHIは、モデルがテキストのみからどれだけ答えられるかを測定する。
第一のレジームは「テキストバイアス」であり、モデルが視覚表現に関与せずに言語事前分布から答える。第二のレジームは「偽画像」であり、モデルが潜在空間に偽の視覚内容を構築し、あたかも視覚的基盤があるかのように答える。この区別は緩和策に直接的な影響を与える。テキスト分布のクリーニングは第一のレジームには対処できるが、第二のレジームには届かない。偽画像ミラージュはテキストではなくモデルの視覚表現に存在するからである。
したがって、忠実な視覚的基盤を実現するには、表現レベルでの介入が必要となる。この論文はDaniel Ben-Leviら8名の著者によって2026年6月11日に提出され、コンピュータビジョンとパターン認識（cs.CV）に分類され、人工知能（cs.AI）と機械学習（cs.LG）にも関連している。