线性探针(linear probing)长期以来被广泛用于分析大语言模型的隐藏状态,许多研究据此声称模型会针对不同类型的推理学习到彼此不同的内部表征。然而,一篇已被 ACL 2026 第六届可信 NLP 研讨会(Workshop on Trustworthy NLP)接收的论文对这一做法的可靠性提出了直接质疑。该论文题为《Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States》,由 Subramanyam Sahoo 等四位作者完成,于 2026 年 6 月 1 日提交至 arXiv(编号 arXiv:2606.02907,cs.CL,交叉归类 cs.AI),全文约 199 KB。
研究团队选取了覆盖经典“推理三分法”的三个基准任务,对 Qwen3-14B 模型进行探针实验:LogiQA 2.0 对应演绎推理(deductive),ARC-Challenge 对应归纳推理(inductive),αNLI 则对应溯因推理(abductive)。在 40 层模型的第 32 层上,线性探针取得了 100% 的交叉验证准确率,并且不同任务类别在表征空间中呈现出良好的可分几何结构:三类任务的固有维度分别为 20.6、28.5 和 33.6,凸包污染率(convex hull contamination)不超过 1.5%。单看这一结果,似乎强有力地支持了“模型为不同推理类型学习到不同表征”的结论。
但论文的关键发现是,这种分离几乎完全由格式混淆因素(format confounds)驱动。研究者在回归中剔除来源身份(source identity)、选项数量(option count)和回答长度(response length)等变量后,探针准确率随即降至随机水平。这意味着,此前观察到的所谓“推理模式表征”很可能只是模型对任务格式差异的编码,而非对推理计算结构的编码。
作者进一步从两个角度验证了这一判断。其一,基于追踪锚点(trace-anchor)的相似度分析显示,三个任务之间的推理过程在很大程度上是共享的:任务间的一致率为 42.5%,而随机水平仅为 33.3%。其二,研究者使用随机对照(n=20)进行因果引导(causal steering)实验,结果表明表征几何结构与推理模式之间不存在功能性联系(p=0.286)。换言之,即使隐藏状态在几何上可以区分任务类别,这种区分也没有对模型的实际推理行为产生因果作用。
基于上述证据,论文得出结论:高探针准确率反映的是任务格式,而非计算结构。作者因此呼吁,在机械可解释性(mechanistic interpretability)研究中应把格式去混淆(format deconfounding)作为常规步骤,否则基于线性探针得出的关于模型推理能力的结论可能会系统性地高估模型内部结构的特殊性。这项工作对依赖探针方法研究模型推理机制的研究路线具有方法论层面的警示意义。