跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

状态提交学习:训练语言模型区分计算与记忆

文章摘要

论文提出状态提交学习训练目标,让推理语言模型区分应持久保存的状态与可丢弃的临时计算。通过反事实擦除强化学习(CERL),模型能在隐藏思考被擦除后仍给出正确答案,显著降低对内部草稿的依赖,同时保持准确率。

来源arXiv Machine Learning作者: Fei Ding, Yongkang Zhang, Runhao Liu, Yuhao Liao, Zijian Zeng, Huiming Yang
状态提交学习:训练语言模型区分计算与记忆
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇题为《State commitment learning: training language models to distinguish computation from memory》(状态承诺学习:训练语言模型区分计算与记忆)的论文于2026年5月22日提交至arXiv,编号为arXiv:2606.05201v1,属于机器学习(cs.LG)分类,由Fei Ding与另外五位作者共同完成,全文共17页,提交时间为当日17:05:31 UTC,文件大小约29 KB。论文提出的核心问题在于:当前的推理语言模型并不会区分哪些词元用于临时计算、哪些词元构成需要长期保留的持久状态。一旦生成,所有隐藏的思考内容都会留在上下文中,并持续影响后续预测。这就导致下游推理可能依赖于失败的尝试、走不通的死胡同以及本不应在之后被安全采信的私人草稿。

作者将这一现象重新表述为一个新的训练目标,即“状态承诺学习”:训练模型显式区分应当作为持久状态提交的信息与可以丢弃的临时计算。为使其可训练、可度量,研究团队定义了一个反事实判据——“持久状态充分性”,用于衡量在隐藏思考被抹除之后,答案是否仍然可用。

在此基础上,作者提出反事实抹除强化学习(Counterfactual Erasure RL,CERL)。该方法在同一前缀下同时评估两条路径:一条保留隐藏思考,另一条将其抹除,并且只有在抹除路径仍然正确时才给予奖励。作者还引入了“抹除依赖协议”(Erasure Dependence Protocol),并在数学、长链逻辑、科学问答以及多轮工具使用等评测中验证:CERL在不大幅牺牲准确率的前提下,显著降低了答案对隐藏思考的依赖,并持续优于仅以正确性为目标的强化学习基线以及长答案监督微调(SFT)基线。

论文强调,其贡献不仅在于提出一个训练技巧,更在于给出了一个可度量的判据,使“答案是否真正独立于内部草稿”这一问题变得可检验。这一方向对于提升推理模型在长链任务与工具调用场景中的可靠性与可审计性具有潜在意义:如果模型的最终答案过度依赖不应被采信的中间尝试,那么在下游部署时就可能带来难以察觉的风险。该论文的引用格式为arXiv:2606.05201 [cs.LG],DOI为10.48550/arXiv.2606.05201,由DataCite发放,可通过PDF、实验性HTML以及TeX源码等方式获取全文。

展开要点与分析

文章情报

投资人进阶

要点

  • 推理模型无法区分计算用token与持久状态,导致下游推理依赖失败尝试和私人草稿。
  • 引入反事实准则“持久状态充分性”,使“隐藏思考被擦除后答案是否仍可用”变得可训练、可测量。
  • 提出CERL,在同一前缀下同时评估保留与擦除隐藏思考的路径,仅在擦除路径仍正确时给予奖励。
  • 在数学、长链逻辑、科学QA和多轮工具使用任务中,CERL显著降低对隐藏思考的依赖且不损失准确率。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。