最近、arXivに掲載された論文「Listening makes Vision Clear for VLMs」は、大規模視覚言語モデル（VLM）における視覚と言語の一貫性を評価する新しい手法を提案している。従来の評価は答え側のトークンの注意分布に依存することが多かったが、著者らは注意の最高領域が必ずしも意図された意味トークンと一致しないことを観察した。これはおそらくデコーディングドリフトに起因する。つまり、以前に生成された答えトークンからの言語的priorが蓄積され、視覚的注意とミスマッチを起こすのである。
さらに、以前の答えトークンからのpriorに加えて、モダリティ境界マーカーのような構造的トークンがコンテキスト全体を包含し、ターゲットとは無関係な領域に高い注意を生成する可能性があることを見出した。これらの歪みを避け、大規模VLMの一貫性評価を提供するために、著者らはプロンプト側の意味論を採用し、Prompt-Vision Token Activation Map（PV-TAM）を提案する。PV-TAMはさらに、モダリティ境界マーカーによって引き起こされる系統的バイアスを除去するフィルターを組み込んでいる。
従来の方法がマスクのみで重なりを評価し、活性化強度を無視していたのに対し、PV-TAMの指標は注意のピーク分布を利用してプロンプトと視覚領域の間のアラインメントを測定する。実験では、PV-TAMは様々なデータセットで答え側ベースラインと比較して、注意ベースおよびIoUスタイルの定位指標の両方を一貫して改善した。
本論文はYiyang Chen、Yixin Tan、Binrui Shenによって執筆され、18ページ、3図からなる。コンピュータビジョンとパターン認識（cs.CV）および人工知能（cs.AI）に分類され、2026年6月22日にarXivに提出された（arXiv:2606.23763v1）。この手法は視覚言語モデルの内部動作の理解に新たな視点を提供し、より堅牢なマルチモーダルモデル評価基準の開発を促進する可能性がある。