視覺語言模型（VLM）近年來在架構上不斷創新，其中一個顯著趨勢是引入連續或潛在的非文本標記（即“思維標記”），旨在讓模型具備類似人類的“視覺思考”能力。這類標記被嵌入到模型的中間層，期望能夠輔助模型進行更復雜的推理。然而，一個關鍵問題始終存在：這些標記是否真的被模型用於推理，還是僅僅因為其存在而帶來了性能提升？為此，來自多所機構的研究人員提出了一種新的診斷原則——消融驗證（Ablate-to-Validate），並基於此開發了標記替換測試（Token Replacement Test，TRT），以系統性地檢驗VLM對連續思維標記的實際利用情況。
TRT的核心思想非常直接：在保持提示、圖像、標記預算和解碼方式完全不變的前提下，將模型生成的中間潛在標記替換為多種替代內容，包括零向量、隨機向量、第一個重複向量或最優替代向量。通過比較替換前後的性能變化，可以判斷性能提升究竟依賴於標記的具體內容，還是僅僅依賴於標記的存在本身。研究團隊在相對深度推理這一受控任務上進行了實驗，使用LLaVA-13B和Qwen2.5-VL-3B兩個模型，並訓練它們預測和使用連續或離散的深度跨度。這些實驗跨越了多種凍結編碼器（如SigLIP2、CLIP、DINOv2）和不同的標記預算設置。此外，TRT還被應用於三個現有的視覺思維繫統——Mirage、Mull-Tokens和CoVT，並在BLINK、VSP和CV-Bench等標準基準上進行了評估。
實驗結果令人深思：在所有測試設置中，即使標記的內容被完全破壞或替換為隨機噪聲，VLM仍然保留了大部分的性能提升。這意味着，準確率的提高並不能作為模型真正使用這些標記進行推理的證據；相反，這種提升可能來源於其他混淆因素，例如增加的上下文長度、特殊標記的錨定效應或訓練時的正則化作用。研究揭示了“擁有潛在通道”與“將其用作信息瓶頸”之間存在持續且顯著的差距。基於這些發現，作者強烈建議，任何引入連續思維標記的方法都應將TRT作為標準診斷工具，與準確率指標一同報告，以確保性能提升的真實性和可解釋性。這一工作為VLM的可解釋性研究提供了重要工具，也為未來視覺推理模型的設計提供了新的評估標準。