視覺語言模型（VLM）在生成影像描述時常常產生物件幻覺——即生成與影像實際內容不符的描述，例如描述影像中不存在的物體。這一問題的主要根源在於模型過度依賴語言先驗知識，而忽視了視覺證據。為了應對這一挑戰，來自研究團隊的最新論文《打破幻覺：多模態解碼中正負對比》提出了一種無需重新訓練的推理框架——正負解碼（PND），直接在解碼過程中進行干預，以增強視覺忠實度。
研究者首先對VLM的注意力機制進行了深入分析，發現了一個關鍵的注意力失衡現象：在解碼過程中，視覺特徵的注意力權重被系統性低估，而語言特徵的權重過高。這一發現揭示了VLM產生幻覺的內在原因。基於此，PND引入了雙路徑對比機制。正路徑透過放大視覺證據的貢獻來強化對影像的正確理解，確保模型更多地依賴視覺輸入；負路徑則構造反事實樣本，即那些與語言先驗一致但與視覺事實相悖的生成，從而懲罰過度依賴語言先驗的行為。在解碼的每一步，模型都會對比兩條路徑的輸出，並選擇更貼近視覺事實的結果。
實驗部分，研究者在多個標準基準測試上評估了PND的效能，包括POPE（評價物件存在性幻覺）、MME（多模態評估）和CHAIR（描述級幻覺率）。結果表明，PND無需任何額外訓練，即在所有基準上達到了最先進的效能，顯著優於現有的基礎模型和其他訓練-free方法。該成果已被計算機視覺頂級會議CVPR 2026接收，論文共11頁，包含5張圖表，程式碼也已公開發布，為VLM幻覺問題提供了一種簡潔而高效的解決方案。這一工作不僅推動了多模態理解領域的發展，也展示了在推理階段透過巧妙設計進行糾錯的巨大潛力。