来自 arXiv（编号 arXiv:2607.01480v1，cs.AI 分类，交叉归类为 cs.LG）的一篇新论文《Procedural Memory Distillation: Online Reflection for Self-Improving Language Models》（程序性记忆蒸馏：面向自我改进语言模型的在线反思）由 Ye Liu 等共九位作者提交，提交时间为 2026 年 7 月 1 日 21:20:57 UTC（对应 7 月 1 日提交记录），全文约 696 KB，通讯提交人为 Semih Yavuz。
论文切入的是一类已被广泛采用的训练范式：带可验证奖励的强化学习（RLVR），以及 SDPO 等近期出现的自蒸馏变体。此类方法的基本流程是，让模型针对问题生成一次 rollout，再用验证器对该条轨迹打分，并依据这一“回合级”信号更新策略参数。作者指出，这套流程虽然有效，却几乎没有保留和复用 rollout 中更丰富的程序性信息。随着训练的轮次和回合不断累积，模型在策略持续变化的情况下会反复遇到彼此相关的问题，于是产生大量跨回合信号——哪些策略能够稳定通过验证、哪些失败模式反复出现、哪些行为模式会重复发生——而这些信息是回合局部的更新无法捕捉的。
针对这一缺口，作者提出程序性记忆蒸馏（Procedural Memory Distillation，PMD）。其核心做法是把上述跨回合信号转化为可复用的“程序性记忆”，并在训练过程中将其蒸馏进策略网络的权重里。关键在于，这份记忆只充当训练阶段的脚手架：随着训练推进，记忆被策略自身吸收，最终得到一个推理时不需要任何外部记忆模块的模型。
在记忆的组织上，PMD 划分了三个抽象层级：最底层是原始轨迹；中间层是模型自我反思后得到的策略与经验教训；最高层则是跨问题反复出现的行为模式。这三个层级的素材全部在线地从模型自身产生的轨迹中抽取，而非依赖人工标注或外部数据。随后，一个以记忆为条件的“自我教师”会借助积累的经验，对学生在自己 rollout 上的表现进行监督，使学生能够在参数中逐步内化程序性知识。论文强调的中心设计原则是“共同演化”：策略生成 rollout 并据此更新记忆，记忆又塑造用于更新策略的监督信号，两者互为驱动。
实证方面，作者在 Qwen3-8B 与 OLMo3-Instruct-7B 两个模型上进行了评测。结果显示，PMD 相较 SDPO 在 SCIKNOWEVAL 上提升 3.8% 至 5.5%，在 LIVECODEBENCH 上提升 7.9% 至 13.6%。消融实验进一步表明，收益确实来自共同演化机制：若冻结记忆或冻结策略中的任意一方，性能在 SCIKNOWEVAL 各领域上都会落后 PMD 超过 10%。
论文还提供了 arXiv 的相关元数据：DOI 为 10.48550/arXiv.2607.01480，由 DataCite 发放（注册尚待完成），当前浏览上下文为 cs.AI 的 2026 年 7 月新投稿，阅读全文可通过 PDF 或 TeX 源码获取。