读出捷径：位置数字复制主导小语言模型的算术思维链读出
研究发现，小语言模型在进行算术推理时，思维链（CoT）提示的步骤顺序并不重要，模型实际上是通过复制答案分隔符前的最后一个数字来得出答案，而非依赖逻辑推理。这种位置性捷径占模型准确率的绝大部分，且即使中间推理正确，错误的尾数也会导致答案错误。不同模型表现有差异，但该现象普遍存在，对基于CoT的监督方法提出了挑战。
文章情报
要点
- 小语言模型在算术任务中依赖位置性数字复制捷径，而非逻辑推理步骤。
- 复制机制占模型准确率的89-92%，且优先于实际推理。
- 不同架构模型（如Qwen、Llama、Gemma）表现各异，但整体趋势一致。
- 该发现对思维链的忠实性评估和监督方法构成潜在风险。
为什么重要
这条新闻值得关注，因为小语言模型在算术任务中依赖位置性数字复制捷径，而非逻辑推理步骤。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
一项新研究揭示了小语言模型在算术推理中的一种令人意外的行为：这些模型并非真正依赖思维链（Chain-of-Thought, CoT）提示中的逻辑步骤，而是简单地复制答案分隔符前的最后一个数字。这项题为“The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models”的论文发表于arXiv（编号2605.22870），对三种参数量为1-3B的指令微调语言模型（在GSM8K数据集上）进行了深入分析。
研究人员通过前缀补全实验隔离了答案读出阶段，发现一个显著的位置性捷径：模型会复制位于答案分隔符前最后一个位置的数字，无论中间推理步骤如何。进一步分析显示，正确答案的存在贡献了54-92个百分点的准确率（占每个模型教师强制上限的89-92%）。即便在回答错误的样本中，最终答案与最后一个思维链数字匹配的概率高达95-96%。
更引人注目的是，复制通道的优先级远超上下文保留推理。当将尾数替换为错误数值时，即使中间推理正确，模型准确率也会骤降至接近零。而完全移除该尾数后，准确率可恢复5-32个百分点。甚至对于模型本可完成的一步算术任务，如果存在一个可复制的数字，其计算能力也会被抑制。
不同架构的模型表现略有差异：Qwen和Llama在87-95%的情况下会复制新出现的干扰数字，而Gemma则表现出选择性门控机制。通过头部级别的消融实验，研究人员发现这种效应与架构特定的头部集合有关，并在GSM-Symbolic数据集上得到复现。
在非算术任务（如BBH）上，步骤打乱后的性能下降显著；而在7-8B参数规模的模型中，出现了内容选择性门控的趋势。该发现揭示了步骤级忠实性评估的一个潜在风险：这类评估可能混淆位置性答案传输与真实计算过程，从而对基于CoT的监督方法构成挑战。