本文探討了視覺語言模型（VLM）中一個普遍的直覺：當注意力圖清晰集中時，模型更為可靠。然而，一項新研究透過統一機制探測工具VLM可靠性探針（VRP），對三個開源VLM系列（LLaVA-1.5、PaliGemma、Qwen2-VL，引數規模3-7B）進行了系統分析，結果挑戰了這一直覺。
研究首先發現，注意力結構的清晰度與模型正確性幾乎完全無關。在彙集3090個樣本的測試中，注意力與正確性的點雙列相關係數僅為0.001（95%置信區間[-0.034, 0.036]）。儘管注意力在特徵提取中依然至關重要——移除前30%的補丁會導致準確率下降8.2至11.3個百分點——但它並不能作為可靠性的預測指標。這一發現對當前許多依賴於注意力視覺化來評估模型可靠性的做法提出了質疑。
更有效的可靠性訊號來自隱藏狀態幾何結構。隱藏狀態間隔（即正確與錯誤答案對應的隱藏狀態之間的距離）在三個模型中有兩個在POPE資料集上的AUC超過0.95，顯示出強大的區分能力。此外，自我一致性（在K=10次推理中的答案一致性）是最強的行為預測指標，相關係數達到0.43，儘管其計算成本增加了10倍。這表明，在追求模型可靠性時，投入計算資源進行多次取樣可能比分析注意力圖更有價值。
研究還揭示了架構差異對可靠性分佈的影響。透過因果神經元消融，發現採用晚期融合架構的LLaVA將可靠性集中在脆弱的晚期瓶頸層，僅消融前5個探針神經元就導致目標識別準確率下降8.3個百分點。而早期融合架構的PaliGemma和Qwen2-VL則將可靠性廣泛分佈，即使破壞約50%的峰值層隱藏維度，效能下降也僅為1個百分點或更少。這一差異對於模型設計和監控具有直接意義：晚期融合模型需要更謹慎地保護其脆弱的後期層，而早期融合模型則更加魯棒。
總之，該研究指出，在3-7B引數規模的VLM中，可靠性更可靠地從隱藏狀態幾何、層間間隔和稀疏晚期迴路中讀取，而非注意力圖的清晰度。這一發現對模型解釋和監控設計具有重要意義，也提示研究者和工程師在評估模型可靠性時，應將更多注意力轉向隱藏狀態的結構化分析，而不是過度依賴注意力視覺化。