大型语言模型在数学推理和多跳规划等任务上展现出令人印象深刻的推理能力。CoCoNuT(Chain of Continuous Thought,连续思维链)范式进一步将推理推进到潜在空间,使模型能够同时探索多条推理路径,而不是过早地锁定单一思维链。然而,一篇新提交的arXiv论文指出了这一范式中一个被忽视的缺陷。
作者将这一缺陷称为“概念瓶颈”(concept bottleneck)。在每一次推理过程中,中间隐藏状态都会被新的计算覆盖,这意味着模型在较早步骤中已经计算出的关键事实,会随着推理深度的增加而逐渐丢失。换言之,模型的残差流在层与层之间保留了信息,却在推理轮次与轮次之间没有持久保存的通道。
这一观察得到了实验支持。在HotpotQA数据集上,原始CoCoNuT仅取得10.4%的精确匹配(EM),未能超越传统思维链(CoT)基线的11.0% EM。在GSM8K数学推理数据集上,性能还会随课程深度的增加而下降,说明推理链越长,早期信息丢失带来的负面影响越明显。
针对这一问题,作者提出了AGCLR(Adaptive Gated Continuous Latent Reasoning,自适应门控连续潜在推理)。该方法在CoCoNuT基础上增加了一条“门控概念流”(Gated Concept Stream),即一条在所有推理轮次之间持续保留的残差记忆。
这条记忆流由三个学习得到的门控控制:写门(write gate)负责将中间事实写入记忆;读门(read gate)负责在需要时检索相关的先前状态;遗忘门(forget gate)负责剪除无关上下文,避免记忆被噪声占满。这种设计借鉴了循环神经网络中经典的门控记忆思想,但被应用于潜在推理的连续思维过程。
作者以GPT-2作为基座模型,在GSM8K、HotpotQA和ProsQA三个数据集上进行了评估。结果显示,AGCLR在所有类型的数据集上均取得了一致的性能提升,并且随着课程深度的增加,性能差距会不断累积扩大,这直接印证了该方法确实缓解了概念瓶颈问题。
论文于2026年6月5日提交至arXiv,编号为2606.07720,归类于人工智能(cs.AI),同时涉及计算与语言(cs.CL)和机器学习(cs.LG)。作者为Mujtaba Farhan和另外一位合作者,代码已在匿名仓库中公开。该工作提出的问题——为何残差流只在层间共享而不在Token之间持久保留——为连续潜在推理的研究提供了一个值得关注的新方向。