扩散大语言模型（Diffusion Large Language Models，dLLMs）近年来被视为纯自回归语言模型之外的一条颇具前景的替代路线，其核心优势在于能够并行解码多个 token，从而在推理效率上展现出潜力。然而，当前最先进的块式（block-wise）dLLM 普遍依赖一种被称为“重掩码”（remasking）的机制：在每一步中只解码置信度最高的那些 token，而把其余 token 直接丢弃。这种做法虽然保证了解码质量，却让大量已经完成的计算被白白浪费。来自加州大学伯克利分校等机构的研究团队指出，这种浪费其实是可以避免的，因为那些被丢弃的 token 表示中仍然保留着对后续解码迭代有用的上下文信息。
基于这一观察，论文提出了“残差上下文扩散”（Residual Context Diffusion，简称 RCD）模块。其基本思路是：不再将被丢弃 token 的表示直接舍弃，而是把它们转化为上下文残差（contextual residuals），并在下一个去噪步骤中重新注入模型。这样一来，之前迭代中已经获得的信息得以循环利用，模型无需从零开始重新推断，从而在相同计算预算下获得更高质量的解码结果。RCD 的另一个关键设计是采用解耦的两阶段训练流程，以绕开反向传播过程中常见的内存瓶颈问题，使该方法能够在实际规模的大模型上落地训练。
在实验部分，研究团队分别在面向长思维链（long CoT）推理的 SDAR 模型和面向短思维链指令跟随的 LLaDA 模型上验证了该方法。结果显示，一个标准的 dLLM 只需约 10 亿 token 的额外训练，就能高效地转换为 RCD 范式。在广泛的基准测试中，RCD 让前沿 dLLM 的准确率稳定提升 5 至 10 个百分点，而额外带来的计算开销极小。尤为引人注目的是，在最困难的 AIME 数学任务上，RCD 几乎将基线准确率翻倍；同时在达到同等准确率水平时，所需的去噪步数最多可减少 4 至 5 倍。
该工作由 Yuezhou Hu、Harman Singh、Monishwaran Maheswaran 等人共同完成，Haocheng Xi、Coleman Hooper、Jintao Zhang、Aditya Tomar、Michael W. Mahoney、Sewon Min、Mehrdad Farajtabar、Kurt Keutzer、Amir Gholami 与 Chenfeng Xu 参与合作，论文于 2026 年 7 月发布。从更广的视角看，这项研究回应了扩散语言模型在推理效率上的一个关键痛点：如何在保持并行解码优势的同时，不浪费已有计算。RCD 通过回收被重掩码丢弃的上下文信息，为 dLLM 的解码流程提供了一种低开销、易迁移的增强方案，也为后续关于扩散模型采样策略与训练流程的研究提供了新的思路。