这篇题为《Mirage Probes: How Vision Models Fake Visual Understanding》的论文于2026年6月11日提交至arXiv,编号2606.13870v1,由Daniel Ben-Levi领衔、共八位作者合作完成,归类于计算机视觉与模式识别(cs.CV),并同时涉及人工智能(cs.AI)与机器学习(cs.LG)领域。论文聚焦一个长期被忽视却影响深远的问题:视觉语言模型(VLM)即使在没有提供任何图像的情况下,也能对图像相关问题给出自信、甚至正确的回答。作者将这种现象命名为“海市蜃楼行为”(mirage behavior),并指出它会在不反映真实视觉基础的情况下虚高基准测试分数。
与以往研究把这一现象视为单一失效模式不同,作者主张它实际上包含两种截然不同的机制。为加以区分,他们提出了名为Mirage Probes的对比探测框架:在同一张图像上,将改写后的问题变体与对应的“海市蜃楼”和“非海市蜃楼”标签配对,从而在受控条件下观察模型内部表征的变化。
研究结果表明,在两种开源VLM中,海市蜃楼行为可以从内部激活中线性解码出来,涉及的位置包括残差流(residual stream)、MLP层、注意力后位置以及注意力头。为排除表层词汇混淆的可能,作者还训练了一个朴素贝叶斯文本基线,发现它无法恢复这一信号,说明该现象并非仅由字面词语驱动,而是根植于模型内部表征。
论文进一步引入新的“先验利用指数”(Prior Harnessing Index,PHI),用于衡量模型仅凭文本就能作答的程度,并结合跨基准的可分离性模式,揭示出两种不同的行为区制。第一种是“文本偏见”:模型依靠语言先验直接作答,并未真正调用视觉表征。第二种是“虚假图像”:模型在潜在空间中构造出并不存在的视觉内容,然后仿佛已有视觉依据般作答。
这一区分对缓解策略具有直接意义。作者指出,针对文本分布进行清洗可以缓解第一种区制,却无法触及第二种,因为虚假图像式的海市蜃楼存在于模型的视觉表征之中,而非文本层面。因此,要实现忠实的视觉基础,必须在表征层面进行干预。论文全文可通过arXiv以PDF、实验性HTML及TeX源码形式获取,DOI为10.48550/arXiv.2606.13870。