視覚言語モデル（VLM）は各種ベンチマークで精度を更新し続けており、そのスコアは画像内容の真の理解を反映していると暗黙に想定されがちだ。しかし、CVPR 2026 GRAIL-Vワークショップに採択された論文がこの前提に体系的に疑問を投げかけている。論文タイトルは「Seeing without Looking: Do Vision-Language Benchmarks Really Test Vision?」で、Zixuan Lan氏ら4名の著者によって2026年5月21日にarXiv（番号2605.22903）に投稿された。
研究の出発点は意外な観察だった。広く使用されている幻覚ベンチマークにおいて、画像トークンを相当な割合で除去してもモデル性能の低下はごくわずかに留まったのである。ベンチマークスコアが視覚理解を真に反映するなら、これほど視覚情報を削減すれば性能はもっと顕著に低下するはずだ。この矛盾から著者らは、複数のオープンソースVLMを対象に、ベンチマーク精度とモデルが実際に視覚証拠に依存する度合いとの間にどの程度の乖離があるかを体系的に分析した。
著者らは複数の粒度で実験を設計した。グローバルな視覚劣化、局所的な遮蔽、質問の言い換え、回答空間の拡張、そして標準精度を超えた決定レベル分析である。グローバル劣化は画像全体の品質低下時の挙動を調べ、局所遮蔽は重要領域が隠された際の感度を検証する。質問言い換えと回答空間拡張は、モデルが視覚内容ではなく質問の表面的パターンに依存していないかを探る。決定レベル分析では、モデル内部の確信度と最終回答の関係に注目した。
行動実験に加え、著者らは層ごとの視覚トークン幾何分析を補完し、表現レベルから説明を探った。結果として、VLMは確かに視覚入力を取り込んでいるものの、その予測は標準精度が示唆するほど細粒度の視覚証拠喪失に敏感ではないことが判明した。さらに注目すべきは、最終予測が変わらなくても、正解に対するモデル内部の支持がすでに弱まっている可能性がある点だ。つまり、精度という単一指標がモデルのグラウンディング能力の劣化を覆い隠している可能性がある。
表現レベルの分析では、層が深くなるにつれて視覚トークン間の類似度が増大し、深い層の視覚表現が同質化していくことが示された。著者らはこれを、モデルが細粒度視覚証拠に鈍感である理由の一つとして考えている。深い層で視覚情報が圧縮・混合されると、モデルは言語事前分布や浅い特徴により多く依存して判断を下す可能性がある。
これらの知見を総合し、論文は現在のベンチマークがVLMの細粒度視覚グラウンディングを信頼性高く評価するには不十分だと結論づけている。ベンチマーク精度の高さは必ずしもモデルが画像を真に「見て」理解していることを意味せず、言語パターン、質問構造、粗粒度の視覚手がかりへの依存を反映しているにすぎない可能性がある。この結論はVLM評価手法の設計に重要な警鐘を鳴らすものであり、真の視覚理解と表面的なパターン一致を区別できる新たな評価パラダイムの必要性を示唆している。