跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Mirage Probes:视觉模型如何伪造视觉理解

文章摘要

一篇新论文提出 Mirage Probes 对比探测框架,发现视觉语言模型的无图幻觉可分为文本偏见和虚假图像两种机制,且后者无法通过清洗文本解决。

来源arXiv Computer Vision作者: Daniel Ben-Levi, Judah Goldfeder, Weiliang Zhao, Raz Lapid, Amit LeVi, Allen G. Roush, Ravid Shwartz-Ziv, Hod Lipson
Mirage Probes:视觉模型如何伪造视觉理解
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇题为《Mirage Probes: How Vision Models Fake Visual Understanding》的论文于2026年6月11日提交至arXiv,编号2606.13870v1,由Daniel Ben-Levi领衔、共八位作者合作完成,归类于计算机视觉与模式识别(cs.CV),并同时涉及人工智能(cs.AI)与机器学习(cs.LG)领域。论文聚焦一个长期被忽视却影响深远的问题:视觉语言模型(VLM)即使在没有提供任何图像的情况下,也能对图像相关问题给出自信、甚至正确的回答。作者将这种现象命名为“海市蜃楼行为”(mirage behavior),并指出它会在不反映真实视觉基础的情况下虚高基准测试分数。

与以往研究把这一现象视为单一失效模式不同,作者主张它实际上包含两种截然不同的机制。为加以区分,他们提出了名为Mirage Probes的对比探测框架:在同一张图像上,将改写后的问题变体与对应的“海市蜃楼”和“非海市蜃楼”标签配对,从而在受控条件下观察模型内部表征的变化。

研究结果表明,在两种开源VLM中,海市蜃楼行为可以从内部激活中线性解码出来,涉及的位置包括残差流(residual stream)、MLP层、注意力后位置以及注意力头。为排除表层词汇混淆的可能,作者还训练了一个朴素贝叶斯文本基线,发现它无法恢复这一信号,说明该现象并非仅由字面词语驱动,而是根植于模型内部表征。

论文进一步引入新的“先验利用指数”(Prior Harnessing Index,PHI),用于衡量模型仅凭文本就能作答的程度,并结合跨基准的可分离性模式,揭示出两种不同的行为区制。第一种是“文本偏见”:模型依靠语言先验直接作答,并未真正调用视觉表征。第二种是“虚假图像”:模型在潜在空间中构造出并不存在的视觉内容,然后仿佛已有视觉依据般作答。

这一区分对缓解策略具有直接意义。作者指出,针对文本分布进行清洗可以缓解第一种区制,却无法触及第二种,因为虚假图像式的海市蜃楼存在于模型的视觉表征之中,而非文本层面。因此,要实现忠实的视觉基础,必须在表征层面进行干预。论文全文可通过arXiv以PDF、实验性HTML及TeX源码形式获取,DOI为10.48550/arXiv.2606.13870。

展开要点与分析

文章情报

工程师进阶

要点

  • 视觉语言模型即使没有图像输入也能自信回答图像问题,这被称为“海市蜃楼”行为。
  • 通过 Mirage Probes 框架,海市蜃楼行为可从内部激活中线性解码,分为文本偏见和虚假图像两种独立机制。
  • 文本分布清理只能缓解文本偏见,虚假图像幻觉需要表征层面的干预。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。