视觉语言模型（VLM）在生成图像描述时常常产生对象幻觉——即生成与图像实际内容不符的描述，例如描述图像中不存在的物体。这一问题的主要根源在于模型过度依赖语言先验知识，而忽视了视觉证据。为了应对这一挑战，来自研究团队的最新论文《打破幻觉：多模态解码中正负对比》提出了一种无需重新训练的推理框架——正负解码（PND），直接在解码过程中进行干预，以增强视觉忠实度。
研究者首先对VLM的注意力机制进行了深入分析，发现了一个关键的注意力失衡现象：在解码过程中，视觉特征的注意力权重被系统性低估，而语言特征的权重过高。这一发现揭示了VLM产生幻觉的内在原因。基于此，PND引入了双路径对比机制。正路径通过放大视觉证据的贡献来强化对图像的正确理解，确保模型更多地依赖视觉输入；负路径则构造反事实样本，即那些与语言先验一致但与视觉事实相悖的生成，从而惩罚过度依赖语言先验的行为。在解码的每一步，模型都会对比两条路径的输出，并选择更贴近视觉事实的结果。
实验部分，研究者在多个标准基准测试上评估了PND的性能，包括POPE（评价对象存在性幻觉）、MME（多模态评估）和CHAIR（描述级幻觉率）。结果表明，PND无需任何额外训练，即在所有基准上达到了最先进的性能，显著优于现有的基础模型和其他训练-free方法。该成果已被计算机视觉顶级会议CVPR 2026接收，论文共11页，包含5张图表，代码也已公开发布，为VLM幻觉问题提供了一种简洁而高效的解决方案。这一工作不仅推动了多模态理解领域的发展，也展示了在推理阶段通过巧妙设计进行纠错的巨大潜力。