为何将残差流限制在层而非令牌？持续潜在推理的持久记忆
大型语言模型在数学和多跳规划任务中展现了强大的推理能力。CoCoNuT范式允许模型在潜在空间同时探索多条推理路径，但研究者发现了一个“概念瓶颈”问题：每次推理时中间隐藏状态被覆盖，导致模型在深度推理中丢失早期步骤的关键事实。为解决此问题，他们提出AGCLR（自适应门控持续潜在推理），通过写、读、忘三个门控机制维护持久残差记忆。在GSM8K、HotpotQA和ProsQA上使用GPT-2的评估显示，AGCLR在所有数据集上取得一致改进，且随着课程深度增加，性能差距扩大，直接解决了概念瓶颈。
大型语言模型（LLM）在数学推理和多跳规划任务中展示了卓越的能力。CoCoNuT（连续思维链）范式通过允许模型在潜在空间进行推理，同时探索多条推理路径，扩展了传统的思维链方法。然而，研究者发现了一个关键限制——概念瓶颈。在每个推理步骤中，中间隐藏状态被完全覆盖，导致模型在推理深度增加时丢失了早期计算的关键事实。
实验证据表明了这一问题的严重性：在HotpotQA数据集上，标准CoCoNuT的精确匹配率（EM）仅为10.4%，甚至低于思维链基线的11.0%；在GSM8K上，随着课程深度增加，性能持续下降。这表明现有方法无法有效保留推理过程中产生的中间概念。
为了解决这一瓶颈，研究者提出了AGCLR（自适应门控持续潜在推理）。AGCLR在CoCoNuT基础上增加了一个门控概念流——一种跨所有推理步骤维护的持久残差记忆。该记忆由三个可学习门控控制：写入门将中间事实提交到记忆，读取门检索相关的先前状态，遗忘门则修剪无关上下文。这种设计使模型能够保留和利用早期推理步骤中的重要信息。
在GSM8K、HotpotQA和ProsQA三个数据集上，使用GPT-2作为基础模型的评估显示，AGCLR在所有类型的数据集上均取得了持续改进。随着课程深度的增加，性能差距进一步扩大，直接解决了概念瓶颈问题。研究者已公开代码，以促进后续研究。这项工作为持续潜在推理提供了新的方向，表明通过持久记忆机制可以显著提升深度学习模型的推理能力。