这篇题为《多少思考才算足够?量化与理解大语言模型推理中的冗余》的论文由翟志远(Zhiyuan Zhai)等四位作者完成,于2026年4月21日提交至arXiv,编号为arXiv:2605.23926,属于人工智能(cs.AI)与机器学习(cs.LG)交叉领域。论文同时提供了PDF、实验性HTML版本以及TeX源码,并附有开源代码仓库链接。
研究出发点十分直接:具备推理能力的大语言模型在解决困难问题时,会生成长长的思维链(chain of thought),代价是显著的延迟、GPU算力消耗与能源开销。作者指出,随意浏览这些模型的推理轨迹就能看到大量公式重写、反复验证以及循环式的自我反思。然而,这种深思熟虑中究竟有多少是真正必要的,此前既没有在大规模上被测量过,也没有从第一性原理上得到解释。论文的目标就是同时填补这两个空白。
在测量方法上,作者把“推理冗余”直接定义在推理模型自身之上:对于一条正确的推理轨迹,其冗余度定义为可以被截断的尾部片段步骤所占的最大比例——在截断之后,强制模型终止思考并直接输出最终答案,模型仍然给出正确答案。换句话说,冗余度衡量的是“多想的部分”中有多少其实可以砍掉而不影响结果。
基于这一定义,作者在四个前沿推理模型和两个数学基准上进行了大规模量化。结果显示,在研究的8个(模型,基准)组合条件中,步骤级冗余度始终很高,介于61%到93%之间;在其中6个条件里,关键前缀的中位数仅相当于一个分段步骤,也就是模型几乎在第一步之后就已经掌握了正确解法。作者还验证了这一发现对评审模型家族(judge family)的选择是稳健的。此外,在MATH-500基准上,尽管冗余度会随题目难度上升而下降,但即便在难度最高的Level-5题目上,四个模型的冗余度依然显著,落在46%到85%的区间内。
论文的第二部分从理论上解释了这一现象。作者证明,这种冗余并非某个模型特有的瑕疵,而是“与长度无关的结果奖励”(length-agnostic outcome rewards)的结构性后果:在任意此类奖励下,都不存在有限的最优期望停止时间。该结论与具体的强化学习算法、基础模型、数据分布无关,也不论策略是通过强化学习获得还是通过蒸馏获得。因此,过度思考不是可以在单个模型中修补的bug,而是当前推理模型训练方式所固有的结构性属性。
从实践意义看,这项研究为推理模型的高昂推理成本提供了量化依据:在许多数学任务上,绝大部分思维链步骤对最终答案并无贡献,存在大幅压缩推理长度的空间。同时,理论结果也说明,简单的工程性截断或逐模型调优难以从根本上解决问题,若要真正控制思考长度,需要改变奖励设计本身。论文代码已在GitHub上公开,便于社区复现与后续研究。