本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

アブレーション検証:視覚言語モデルは本当に連続思考トークンを使用しているのか?

記事の要約

本論文は、「アブレーション検証」の診断原則とその具体化であるトークン置換テスト(TRT)を提案し、視覚言語モデル(VLM)が連続潜在トークンを実際に推論に利用しているかを検証する。実験の結果、トークン内容を破壊・置換してもVLMは性能向上の大部分を維持しており、精度向上は潜在トークン推論の誤った指標であることが示された。

ソースarXiv Computer Vision著者: Tianyi Zhang, Mahtab Bigverdi, Ranjay Krishna
アブレーション検証:視覚言語モデルは本当に連続思考トークンを使用しているのか?
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

視覚言語モデル(VLM)は近年、連続的または潜在的な非テキストトークン(「思考トークン」)を導入することで、人間のような「視覚的思考」を実現しようとする試みが盛んに行われている。これらのトークンはモデルの中間層に埋め込まれ、複雑な推論を支援すると期待されている。しかし、その効果が本当にトークンの内容に依存しているのか、それとも単にトークンが存在すること自体によるものなのかを区別することは難しい。この問題に対処するため、研究チームは「アブレーション検証(Ablate-to-Validate)」という診断原則を形式化し、その具体化としてトークン置換テスト(Token Replacement Test, TRT)を提案した。

TRTは、プロンプト、画像、トークン予算、デコード方式を固定したまま、モデルが生成した中間潜在トークンをゼロベクトル、ランダムベクトル、最初の繰り返し、または最適な代替に置き換える。これにより、性能向上がトークンの内容に依存するのか、単にトークンの存在に依存するのかを切り分ける。研究チームは、LLaVA-13BとQwen2.5-VL-3Bを用いた相対的な奥行き推論タスクを制御されたテストベッドとして採用し、複数の凍結エンコーダ(SigLIP2、CLIP、DINOv2)と異なるトークン予算の下で、連続または離散の奥行きスパンを予測・消費するようモデルを訓練した。さらに、TRTを既存の三つの視覚思考システム(Mirage、Mull-Tokens、CoVT)に適用し、BLINK、VSP、CV-Benchの各ベンチマークで評価を行った。

実験結果は一貫して、トークンの内容を破壊したり置換したりしても、VLMは性能向上の大部分を維持することを示した。これは、精度の向上が潜在トークンによる推論の証拠としては不十分であり、むしろコンテキスト長の増加、特殊トークンのアンカリング効果、訓練時の正則化などの交絡要因によって生じている可能性が高いことを示唆している。つまり、「潜在チャネルを持つこと」と「それを情報ボトルネックとして実際に使用すること」の間には、依然として大きなギャップが存在する。著者らは、連続思考トークンを導入するあらゆる手法に対して、精度とともにTRTを標準的な診断ツールとして報告することを推奨している。この研究は、VLMの解釈可能性を高めるための重要なツールを提供し、将来の視覚推論モデルの設計と評価に新たな基準を設けるものである。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 「アブレーション検証」原則とトークン置換テスト(TRT)を導入し、連続思考トークンの実際の使用を診断。
  • トークン内容を破壊してもVLMが性能向上を維持することを発見。精度向上は推論使用の証拠ではない。
  • 連続思考トークンを導入するあらゆる手法にTRTを標準診断として推奨。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。