擴散大語言模型(dLLM)透過迭代式掩碼去噪實現靈活生成,但其推理成本高昂,因為 token 表示會在每個去噪步驟中被反覆重算。現有基於快取的方法試圖透過複用去噪步驟之間的中間結果來降低成本,並在每一步只重算部分位置,而這些位置要麼按固定排程選擇,要麼依據啟發式的變化訊號選擇。
這篇由 Yukai Jin、Zhankai Ye、Jiayue Yang、Fangyi Li、Shuoqiu Li、Xu Gao、Shibo Li、Xin Liu 和 Shangqian Gao 撰寫的論文,從軌跡角度重新審視了這一問題。作者的軌跡實驗表明,真正相關的量是解碼軌跡,而非單純的表示誤差。只要快取式生成的結果足夠貼近全去噪軌跡,準確率就能保持;錯誤主要集中在取消掩碼順序發生偏離的地方,而當模型恢復更長的參考字首時,這些錯誤會減少。
據此,作者提出了一個更直接的原則:限制表示誤差固然有幫助,但讓生成過程保持在全去噪軌跡上,才是準確解碼更直接的途徑。基於這一觀察,研究團隊將高效的 dLLM 推理形式化為“軌跡引導的查詢”問題:不再廣泛地修復表示誤差,而是用全去噪軌跡來監督哪些尚未解析的位置應當獲得有限的新鮮計算。
在此框架下,作者提出了 TRACEQUERY,一種輕量級稀疏解碼框架。它先預測一小組與近期未來軌跡相關的候選位置,只對這些候選位置發起查詢,然後再由主幹模型根據這些位置的新預測,決定最終提交哪一個 token。這種設計把“在哪裡重算”的決策與主幹模型的解碼過程結合起來,避免了對所有位置進行無差別重算。
實驗結果顯示,在基於快取的方法中,TRACEQUERY 取得了最強的質量—計算權衡:它以顯著更少的新鮮 token 計算維持了較高準確率,並且在任務、模型變體和模型系列之間表現出良好的泛化能力。
論文正文共 9 頁,附錄 5 頁,包含 4 幅圖和 1 張表,屬於計算與語言(cs.CL)以及人工智慧(cs.AI)方向。該工作於 2026 年 10 月 7 日提交至 arXiv,編號為 arXiv:2610.33008v1,程式碼已在 GitHub 上公開。