这篇题为《State commitment learning: training language models to distinguish computation from memory》(状态承诺学习:训练语言模型区分计算与记忆)的论文于2026年5月22日提交至arXiv,编号为arXiv:2606.05201v1,属于机器学习(cs.LG)分类,由Fei Ding与另外五位作者共同完成,全文共17页,提交时间为当日17:05:31 UTC,文件大小约29 KB。论文提出的核心问题在于:当前的推理语言模型并不会区分哪些词元用于临时计算、哪些词元构成需要长期保留的持久状态。一旦生成,所有隐藏的思考内容都会留在上下文中,并持续影响后续预测。这就导致下游推理可能依赖于失败的尝试、走不通的死胡同以及本不应在之后被安全采信的私人草稿。
作者将这一现象重新表述为一个新的训练目标,即“状态承诺学习”:训练模型显式区分应当作为持久状态提交的信息与可以丢弃的临时计算。为使其可训练、可度量,研究团队定义了一个反事实判据——“持久状态充分性”,用于衡量在隐藏思考被抹除之后,答案是否仍然可用。
在此基础上,作者提出反事实抹除强化学习(Counterfactual Erasure RL,CERL)。该方法在同一前缀下同时评估两条路径:一条保留隐藏思考,另一条将其抹除,并且只有在抹除路径仍然正确时才给予奖励。作者还引入了“抹除依赖协议”(Erasure Dependence Protocol),并在数学、长链逻辑、科学问答以及多轮工具使用等评测中验证:CERL在不大幅牺牲准确率的前提下,显著降低了答案对隐藏思考的依赖,并持续优于仅以正确性为目标的强化学习基线以及长答案监督微调(SFT)基线。
论文强调,其贡献不仅在于提出一个训练技巧,更在于给出了一个可度量的判据,使“答案是否真正独立于内部草稿”这一问题变得可检验。这一方向对于提升推理模型在长链任务与工具调用场景中的可靠性与可审计性具有潜在意义:如果模型的最终答案过度依赖不应被采信的中间尝试,那么在下游部署时就可能带来难以察觉的风险。该论文的引用格式为arXiv:2606.05201 [cs.LG],DOI为10.48550/arXiv.2606.05201,由DataCite发放,可通过PDF、实验性HTML以及TeX源码等方式获取全文。