多模態大語言模型（MLLMs）正在越來越多地與檢索增強生成（RAG）整合，以減少幻覺現象。然而，最近一項來自普渡大學的研究揭示了這種整合中一個令人擔憂的缺陷：即使提供完全準確的“神諭”上下文，也可能導致模型放棄原本正確的預測。研究人員將這種現象稱為“再次破壞”（recorruption）。
透過對內部注意力矩陣的機制性診斷，研究團隊發現再次破壞由兩種注意力崩潰驅動。第一種是“視覺盲區”，表現為視覺注意力的質量和銳度被系統性抑制，使得模型幾乎忽略影像內容。第二種是“結構位置偏差”，迫使模型優先處理輸入序列中的邊界標記（如特殊令牌），而不是基於語義相關性進行推理。此外，他們的分析還揭示了一種“成功的幻覺”：許多看似正確的RAG結果僅僅是位置上的巧合，即模型對文本的複製偏差恰好與真實答案的位置一致，而非基於真正的多模態理解。
為了解決這些漏洞，研究者提出了瓶頸注意力干預恢復（BAIR）框架。BAIR是一個無需引數調整的推理時干預方法，它透過恢復多模態LLM中的視覺顯著性並施加位置感知的文本干擾懲罰來抵抗再次破壞。在醫學事實性、社會公平性和地理空間等多個基準測試中，BAIR成功恢復了多模態基礎，並顯著提高了診斷可靠性，而無需對模型進行重新訓練或微調。
這項研究強調了在多模態RAG系統中考慮文本偏差的重要性，併為未來設計更魯棒的MLLM應用提供了新的方向。BAIR作為一種輕量級、即插即用的解決方案，有望在實際系統中提升模型的可信度和安全性。