視覺語言模型（VLM）在處理多模態資料時，常常面臨模態模糊或損壞導致的幻覺和魯棒性不足問題。例如，當輸入影像被遮擋或噪聲干擾時，模型可能生成與視覺內容不符的文本描述。針對這一挑戰，一篇被ICML 2026接收的論文提出了一種名為“自描述多模態互動調優”的新方法，透過放大模態間的可開發冗餘來增強模型可靠性。該研究由Yuriel Ryan等五位作者完成，論文編號arXiv:2605.08145，程式碼和資料已公開。
研究團隊首先系統性地分析了多模態互動的三種型別：冗餘（共享）資訊、獨特（獨佔）資訊和協同（湧現）資訊。冗餘資訊指的是視覺和文本模態共同擁有的資訊，例如影像中的物體名稱；獨特資訊是某一模態獨有的內容，比如影像的精確顏色或紋理細節；協同資訊則是多模態結合時湧現的新資訊，例如從“貓”和“墊子”推斷出“貓在墊子上”。作者假設，當某一模態受損時，利用冗餘的共享資訊可以有效補償，從而減少錯誤。然而，當前的大多數指令資料集為了強化視覺定位，刻意減少了冗餘，例如只保留與任務最相關的視覺特徵，這反而削弱了模型的魯棒性。
為彌補這一缺陷，論文設計了一種自描述工作流，其核心是一個“多模態互動門”（Multimodal Interaction Gate）。該機制能夠將獨特互動轉換為冗餘互動，從而增加模型中可利用的共享資訊。具體實現上，模型首先對視覺內容生成自我描述（即文本描述），然後將這些描述與原始文本輸入結合，形成增強的輸入對。透過這種方式，原本屬於視覺獨特的資訊（如形狀、顏色）被轉化為文本形式的冗餘資訊，使得模型即使在視覺模態受干擾時也能依賴文本描述進行推理。
實驗在多個基準資料集上進行，包括COCO Captions、Flickr30k和VQA v2。結果令人矚目：視覺誘導的誤差減少了38.3%，輸出的一致性提升了16.8%。此外，模型在對抗性攻擊和遮擋條件下的表現也顯著優於基線。消融研究證實了每個元件（自描述生成、互動門）的貢獻。作者還發現，冗餘的增加並不會顯著降低模型在乾淨資料上的效能，表明該方法在魯棒性和準確性之間取得了良好平衡。
這些發現不僅驗證了理論假設，也為未來更魯棒的VLM設計提供了新思路。論文對多模態互動的分類和定量分析為理解VLM的行為提供了理論框架。隨著VLM在自動駕駛、醫療影像和輔助技術等領域的廣泛應用，提高模型對模態缺失或損壞的魯棒性具有重要的實際意義。論文的程式碼和詳細資料已在arXiv上公開，便於研究者復現和擴充套件。