视觉语言模型（VLM）在各类基准测试上不断刷新准确率，人们往往默认这些分数代表了模型对图像内容的真实理解。然而，一篇被 CVPR 2026 GRAIL-V 研讨会接收的论文对这一假设提出了系统性质疑。论文题为《Seeing without Looking: Do Vision-Language Benchmarks Really Test Vision?》，由 Zixuan Lan 等四位作者完成，于 2026 年 5 月 21 日提交至 arXiv（编号 2605.22903）。
研究的起点是一个令人意外的观察：在一个广泛使用的幻觉基准上，即使移除相当大比例的图像 token，模型性能也仅出现非常轻微的下降。如果基准分数真的反映视觉理解，那么如此大幅削减视觉信息理应导致更明显的性能滑坡。这一矛盾促使作者对多个开源 VLM 展开系统分析，探究基准准确率与模型实际依赖视觉证据的程度之间究竟存在多大差距。
作者从多个粒度层面设计了实验，包括全局视觉退化、局部遮挡、问题改写、答案空间扩展，以及超越标准准确率的决策级分析。全局退化考察模型在整体图像质量下降时的表现，局部遮挡则检验模型对关键区域被遮蔽的敏感度；问题改写和答案空间扩展用于探测模型是否依赖问题表面模式而非视觉内容；决策级分析则关注模型内部置信度与最终答案之间的关系。
行为实验之外，作者还补充了逐层的视觉 token 几何分析，从表征层面寻找解释。结果显示，尽管 VLM 确实会纳入视觉输入，但其预测对细粒度视觉证据缺失的敏感度远低于标准准确率所暗示的水平。更值得注意的是，即使最终预测保持不变，模型对正确答案的内部支持可能已经被削弱——这意味着准确率这一单一指标可能掩盖了模型 grounding 能力的退化。
表征层面的分析进一步显示，随着层数加深，视觉 token 之间的相似度逐渐上升，深层视觉表征趋于同质化。作者认为，这可能是模型对细粒度视觉证据不敏感的一个可能解释：当视觉信息在深层被压缩和混合后，模型可能更多地依赖语言先验或浅层特征来做出判断。
综合这些发现，论文得出结论：当前基准不足以可靠评估 VLM 的细粒度视觉 grounding。基准准确率的高分并不必然意味着模型真正“看”懂了图像，而可能反映其对语言模式、问题结构或粗粒度视觉线索的依赖。这一结论对 VLM 评估方法的设计具有重要警示意义，也提示社区需要开发更能区分真实视觉理解与表面模式匹配的评测范式。