跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

TraceQuery:从扩散语言模型的全去噪轨迹中学习哪些位置需要重算

文章摘要

该论文提出 TraceQuery,一种面向扩散大语言模型的轻量稀疏解码框架。研究团队通过轨迹实验发现,缓存式生成保持准确的关键在于贴近全去噪轨迹,而非单纯降低表示误差。TraceQuery 利用全去噪轨迹监督,预测少量近期轨迹相关位置,只对这些候选位置进行新的计算,再由主干模型从新预测中选择提交哪个 token,从而在精度和计算量之间取得更优权衡。

来源arXiv Computational Linguistics作者: Yukai Jin, Zhankai Ye, Jiayue Yang, Fangyi Li, Shuoqiu Li, Xu Gao, Shibo Li, Xin Liu, Shangqian Gao
TraceQuery:从扩散语言模型的全去噪轨迹中学习哪些位置需要重算
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

扩散大语言模型(dLLM)通过迭代式掩码去噪实现灵活生成,但其推理成本高昂,因为 token 表示会在每个去噪步骤中被反复重算。现有基于缓存的方法试图通过复用去噪步骤之间的中间结果来降低成本,并在每一步只重算部分位置,而这些位置要么按固定调度选择,要么依据启发式的变化信号选择。

这篇由 Yukai Jin、Zhankai Ye、Jiayue Yang、Fangyi Li、Shuoqiu Li、Xu Gao、Shibo Li、Xin Liu 和 Shangqian Gao 撰写的论文,从轨迹角度重新审视了这一问题。作者的轨迹实验表明,真正相关的量是解码轨迹,而非单纯的表示误差。只要缓存式生成的结果足够贴近全去噪轨迹,准确率就能保持;错误主要集中在取消掩码顺序发生偏离的地方,而当模型恢复更长的参考前缀时,这些错误会减少。

据此,作者提出了一个更直接的原则:限制表示误差固然有帮助,但让生成过程保持在全去噪轨迹上,才是准确解码更直接的途径。基于这一观察,研究团队将高效的 dLLM 推理形式化为“轨迹引导的查询”问题:不再广泛地修复表示误差,而是用全去噪轨迹来监督哪些尚未解析的位置应当获得有限的新鲜计算。

在此框架下,作者提出了 TRACEQUERY,一种轻量级稀疏解码框架。它先预测一小组与近期未来轨迹相关的候选位置,只对这些候选位置发起查询,然后再由主干模型根据这些位置的新预测,决定最终提交哪一个 token。这种设计把“在哪里重算”的决策与主干模型的解码过程结合起来,避免了对所有位置进行无差别重算。

实验结果显示,在基于缓存的方法中,TRACEQUERY 取得了最强的质量—计算权衡:它以显著更少的新鲜 token 计算维持了较高准确率,并且在任务、模型变体和模型系列之间表现出良好的泛化能力。

论文正文共 9 页,附录 5 页,包含 4 幅图和 1 张表,属于计算与语言(cs.CL)以及人工智能(cs.AI)方向。该工作于 2026 年 10 月 7 日提交至 arXiv,编号为 arXiv:2610.33008v1,代码已在 GitHub 上公开。

展开要点与分析

文章情报

工程师进阶

要点

  • 缓存式 dLLM 生成保持准确的关键是贴近全去噪轨迹,误差主要来自取消掩码顺序的偏离
  • TraceQuery 预测少量近期轨迹相关位置并只查询这些候选,由主干从新预测中选择提交
  • 该方法在缓存类方法中取得最优的质量—计算权衡,且可跨任务、模型变体和系列泛化

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。