本文探讨了视觉语言模型（VLM）中一个普遍的直觉：当注意力图清晰集中时，模型更为可靠。然而，一项新研究通过统一机制探测工具VLM可靠性探针（VRP），对三个开源VLM系列（LLaVA-1.5、PaliGemma、Qwen2-VL，参数规模3-7B）进行了系统分析，结果挑战了这一直觉。
研究首先发现，注意力结构的清晰度与模型正确性几乎完全无关。在汇集3090个样本的测试中，注意力与正确性的点双列相关系数仅为0.001（95%置信区间[-0.034, 0.036]）。尽管注意力在特征提取中依然至关重要——移除前30%的补丁会导致准确率下降8.2至11.3个百分点——但它并不能作为可靠性的预测指标。这一发现对当前许多依赖于注意力可视化来评估模型可靠性的做法提出了质疑。
更有效的可靠性信号来自隐藏状态几何结构。隐藏状态间隔（即正确与错误答案对应的隐藏状态之间的距离）在三个模型中有两个在POPE数据集上的AUC超过0.95，显示出强大的区分能力。此外，自我一致性（在K=10次推理中的答案一致性）是最强的行为预测指标，相关系数达到0.43，尽管其计算成本增加了10倍。这表明，在追求模型可靠性时，投入计算资源进行多次采样可能比分析注意力图更有价值。
研究还揭示了架构差异对可靠性分布的影响。通过因果神经元消融，发现采用晚期融合架构的LLaVA将可靠性集中在脆弱的晚期瓶颈层，仅消融前5个探针神经元就导致目标识别准确率下降8.3个百分点。而早期融合架构的PaliGemma和Qwen2-VL则将可靠性广泛分布，即使破坏约50%的峰值层隐藏维度，性能下降也仅为1个百分点或更少。这一差异对于模型设计和监控具有直接意义：晚期融合模型需要更谨慎地保护其脆弱的后期层，而早期融合模型则更加鲁棒。
总之，该研究指出，在3-7B参数规模的VLM中，可靠性更可靠地从隐藏状态几何、层间间隔和稀疏晚期回路中读取，而非注意力图的清晰度。这一发现对模型解释和监控设计具有重要意义，也提示研究者和工程师在评估模型可靠性时，应将更多注意力转向隐藏状态的结构化分析，而不是过度依赖注意力可视化。