扩散大语言模型(dLLM)通过迭代式掩码去噪实现灵活生成,但其推理成本高昂,因为 token 表示会在每个去噪步骤中被反复重算。现有基于缓存的方法试图通过复用去噪步骤之间的中间结果来降低成本,并在每一步只重算部分位置,而这些位置要么按固定调度选择,要么依据启发式的变化信号选择。
这篇由 Yukai Jin、Zhankai Ye、Jiayue Yang、Fangyi Li、Shuoqiu Li、Xu Gao、Shibo Li、Xin Liu 和 Shangqian Gao 撰写的论文,从轨迹角度重新审视了这一问题。作者的轨迹实验表明,真正相关的量是解码轨迹,而非单纯的表示误差。只要缓存式生成的结果足够贴近全去噪轨迹,准确率就能保持;错误主要集中在取消掩码顺序发生偏离的地方,而当模型恢复更长的参考前缀时,这些错误会减少。
据此,作者提出了一个更直接的原则:限制表示误差固然有帮助,但让生成过程保持在全去噪轨迹上,才是准确解码更直接的途径。基于这一观察,研究团队将高效的 dLLM 推理形式化为“轨迹引导的查询”问题:不再广泛地修复表示误差,而是用全去噪轨迹来监督哪些尚未解析的位置应当获得有限的新鲜计算。
在此框架下,作者提出了 TRACEQUERY,一种轻量级稀疏解码框架。它先预测一小组与近期未来轨迹相关的候选位置,只对这些候选位置发起查询,然后再由主干模型根据这些位置的新预测,决定最终提交哪一个 token。这种设计把“在哪里重算”的决策与主干模型的解码过程结合起来,避免了对所有位置进行无差别重算。
实验结果显示,在基于缓存的方法中,TRACEQUERY 取得了最强的质量—计算权衡:它以显著更少的新鲜 token 计算维持了较高准确率,并且在任务、模型变体和模型系列之间表现出良好的泛化能力。
论文正文共 9 页,附录 5 页,包含 4 幅图和 1 张表,属于计算与语言(cs.CL)以及人工智能(cs.AI)方向。该工作于 2026 年 10 月 7 日提交至 arXiv,编号为 arXiv:2610.33008v1,代码已在 GitHub 上公开。