多模态大语言模型（MLLMs）正在越来越多地与检索增强生成（RAG）集成，以减少幻觉现象。然而，最近一项来自普渡大学的研究揭示了这种集成中一个令人担忧的缺陷：即使提供完全准确的“神谕”上下文，也可能导致模型放弃原本正确的预测。研究人员将这种现象称为“再次破坏”（recorruption）。
通过对内部注意力矩阵的机制性诊断，研究团队发现再次破坏由两种注意力崩溃驱动。第一种是“视觉盲区”，表现为视觉注意力的质量和锐度被系统性抑制，使得模型几乎忽略图像内容。第二种是“结构位置偏差”，迫使模型优先处理输入序列中的边界标记（如特殊令牌），而不是基于语义相关性进行推理。此外，他们的分析还揭示了一种“成功的幻觉”：许多看似正确的RAG结果仅仅是位置上的巧合，即模型对文本的复制偏差恰好与真实答案的位置一致，而非基于真正的多模态理解。
为了解决这些漏洞，研究者提出了瓶颈注意力干预恢复（BAIR）框架。BAIR是一个无需参数调整的推理时干预方法，它通过恢复多模态LLM中的视觉显著性并施加位置感知的文本干扰惩罚来抵抗再次破坏。在医学事实性、社会公平性和地理空间等多个基准测试中，BAIR成功恢复了多模态基础，并显著提高了诊断可靠性，而无需对模型进行重新训练或微调。
这项研究强调了在多模态RAG系统中考虑文本偏差的重要性，并为未来设计更鲁棒的MLLM应用提供了新的方向。BAIR作为一种轻量级、即插即用的解决方案，有望在实际系统中提升模型的可信度和安全性。