視覚言語モデル(VLM)は近年、連続的または潜在的な非テキストトークン(「思考トークン」)を導入することで、人間のような「視覚的思考」を実現しようとする試みが盛んに行われている。これらのトークンはモデルの中間層に埋め込まれ、複雑な推論を支援すると期待されている。しかし、その効果が本当にトークンの内容に依存しているのか、それとも単にトークンが存在すること自体によるものなのかを区別することは難しい。この問題に対処するため、研究チームは「アブレーション検証(Ablate-to-Validate)」という診断原則を形式化し、その具体化としてトークン置換テスト(Token Replacement Test, TRT)を提案した。
TRTは、プロンプト、画像、トークン予算、デコード方式を固定したまま、モデルが生成した中間潜在トークンをゼロベクトル、ランダムベクトル、最初の繰り返し、または最適な代替に置き換える。これにより、性能向上がトークンの内容に依存するのか、単にトークンの存在に依存するのかを切り分ける。研究チームは、LLaVA-13BとQwen2.5-VL-3Bを用いた相対的な奥行き推論タスクを制御されたテストベッドとして採用し、複数の凍結エンコーダ(SigLIP2、CLIP、DINOv2)と異なるトークン予算の下で、連続または離散の奥行きスパンを予測・消費するようモデルを訓練した。さらに、TRTを既存の三つの視覚思考システム(Mirage、Mull-Tokens、CoVT)に適用し、BLINK、VSP、CV-Benchの各ベンチマークで評価を行った。
実験結果は一貫して、トークンの内容を破壊したり置換したりしても、VLMは性能向上の大部分を維持することを示した。これは、精度の向上が潜在トークンによる推論の証拠としては不十分であり、むしろコンテキスト長の増加、特殊トークンのアンカリング効果、訓練時の正則化などの交絡要因によって生じている可能性が高いことを示唆している。つまり、「潜在チャネルを持つこと」と「それを情報ボトルネックとして実際に使用すること」の間には、依然として大きなギャップが存在する。著者らは、連続思考トークンを導入するあらゆる手法に対して、精度とともにTRTを標準的な診断ツールとして報告することを推奨している。この研究は、VLMの解釈可能性を高めるための重要なツールを提供し、将来の視覚推論モデルの設計と評価に新たな基準を設けるものである。