本論文は、視覚言語モデル（VLM）において、注意マップが鮮明であるほどモデルの信頼性が高いという一般的な直感を検証する。著者らは、統一的なメカニズム探索ツールであるVLM信頼性プローブ（VRP）を用いて、LLaVA-1.5、PaliGemma、Qwen2-VLという3つのオープンウェイトVLMファミリー（パラメータ数3-7B）を分析した。
最初の結果として、注意構造の鮮明さはモデルの正解率とほぼ無関係であることが示された。プールされた3090サンプルの分析では、注意と正解率の点双列相関係数は0.001（95%信頼区間[-0.034, 0.036]）であった。注意は特徴抽出に因果的に必要ではあるが（上位30%のパッチをマスクすると精度が8.2～11.3ポイント低下）、信頼性の予測因子にはならない。この発見は、現在多くの注意可視化に依存する信頼性評価手法に疑問を投げかける。
より有効な信頼性指標は、隠れ状態の幾何学的構造に現れる。隠れ状態のマージン（正解と不正解に対応する隠れ状態の距離）は、3ファミリー中2つでPOPEデータセットにおけるAUCが0.95を超え、強い識別能力を示した。また、自己一致度（K=10回の推論における回答の一貫性）は最も強い行動予測因子であり（相関係数0.43）、ただし推論コストは10倍になる。これは、信頼性を追求する際に、注意マップの分析よりも複数回のサンプリングに計算資源を投資する方が価値があることを示唆する。
さらに、因果的ニューロン除去実験により、アーキテクチャによる信頼性の分布の違いが明らかになった。後期融合アーキテクチャのLLaVAは、信頼性が脆弱な後期ボトルネック層に集中しており、トップ5のプローブニューロンを除去すると物体識別精度が8.3ポイント低下する。一方、前期融合アーキテクチャのPaliGemmaとQwen2-VLは信頼性が広く分散しており、ピーク層の隠れ次元の約50%を破壊しても性能低下は1ポイント以下である。この差異はモデル設計と監視に直接的な意味を持つ：後期融合モデルは脆弱な後期層を慎重に保護する必要があり、前期融合モデルはよりロバストである。
結論として、3-7B規模のVLMでは、信頼性は注意マップの鮮明さよりも、隠れ状態の幾何学的構造、層ごとのマージン、および疎な後期回路から読み取る方が信頼できる。この知見は、モデルの解釈可能性や監視設計に重要な示唆を与え、研究者やエンジニアが信頼性を評価する際に、注意可視化に過度に依存するのではなく、隠れ状態の構造分析により多くの注意を向けるべきことを示している。