大型语言模型（LLM）在生成文本时经常出现幻觉，即生成与事实不符的内容。为了检测这些幻觉，越来越多的方法开始利用模型的思维链（chain-of-thought）推理轨迹。然而，一个根本问题尚未明确：这些检测方法究竟是在评估推理过程本身的质量，还是仅仅利用了最终答案的表面特征？
针对这一疑问，一篇发表在arXiv上的新论文（arXiv:2605.08346）提出了一种受控不变性（controlled-invariance）方法论，通过两个名为Force和Remove的“神谕测试”来揭示这一区别。Force测试保留推理轨迹不变，但将最终答案替换为真实答案；Remove测试则删除明确宣布答案的步骤，但保留其余推理路径。通过比较这两种情况下检测方法的表现，研究人员可以判断其预测能力是否来源于答案层面的伪影，而非中间推理的结构或正确性。
实验结果表明，许多现有的检测方法在推理轨迹处理上存在偏差，它们往往依赖最终答案的词汇特征，而非真正的推理逻辑。这一发现揭示了当前技术的局限性，并表明需要更可靠的评估方法。
更令人关注的是，该研究提出了一种简单而高效的替代方案——TRACT（Trajectory-based Robust Artifact Controlled Testing）。TRACT是一种轻量级评分器，仅利用词汇轨迹特征，包括模糊性趋势（hedging trends）、步骤长度动态（step-length dynamics）以及跨响应词汇收敛性（cross-response vocabulary convergence）。尽管结构简单，TRACT在未受干扰的轨迹上表现出强大的鲁棒性，其性能与甚至超越了复杂的基线模型。
研究团队强调，当前推理感知幻觉检测的核心挑战并非轨迹中缺乏信号，而是未能将这些信号与端点线索（即最终答案的提示）有效分离。这一发现为未来开发更可靠的幻觉检测方法提供了重要方向，也提醒研究者在评估模型推理时需警惕表面特征的干扰。