大型語言模型（LLM）在生成文本時經常出現幻覺，即生成與事實不符的內容。為了檢測這些幻覺，越來越多的方法開始利用模型的思維鏈（chain-of-thought）推理軌跡。然而，一個根本問題尚未明確：這些檢測方法究竟是在評估推理過程本身的質量，還是僅僅利用了最終答案的表面特徵？
針對這一疑問，一篇發表在arXiv上的新論文（arXiv:2605.08346）提出了一種受控不變性（controlled-invariance）方法論，透過兩個名為Force和Remove的“神諭測試”來揭示這一區別。Force測試保留推理軌跡不變，但將最終答案替換為真實答案；Remove測試則刪除明確宣佈答案的步驟，但保留其餘推理路徑。透過比較這兩種情況下檢測方法的表現，研究人員可以判斷其預測能力是否來源於答案層面的偽影，而非中間推理的結構或正確性。
實驗結果表明，許多現有的檢測方法在推理軌跡處理上存在偏差，它們往往依賴最終答案的詞彙特徵，而非真正的推理邏輯。這一發現揭示了當前技術的侷限性，並表明需要更可靠的評估方法。
更令人關注的是，該研究提出了一種簡單而高效的替代方案——TRACT（Trajectory-based Robust Artifact Controlled Testing）。TRACT是一種輕量級評分器，僅利用詞彙軌跡特徵，包括模糊性趨勢（hedging trends）、步驟長度動態（step-length dynamics）以及跨響應詞彙收斂性（cross-response vocabulary convergence）。儘管結構簡單，TRACT在未受干擾的軌跡上表現出強大的魯棒性，其效能與甚至超越了複雜的基線模型。
研究團隊強調，當前推理感知幻覺檢測的核心挑戰並非軌跡中缺乏訊號，而是未能將這些訊號與端點線索（即最終答案的提示）有效分離。這一發現為未來開發更可靠的幻覺檢測方法提供了重要方向，也提醒研究者在評估模型推理時需警惕表面特徵的干擾。