跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

TraceQuery:從擴散語言模型的全去噪軌跡中學習哪些位置需要重算

文章摘要

該論文提出 TraceQuery,一種面向擴散大語言模型的輕量稀疏解碼框架。研究團隊透過軌跡實驗發現,快取式生成保持準確的關鍵在於貼近全去噪軌跡,而非單純降低表示誤差。TraceQuery 利用全去噪軌跡監督,預測少量近期軌跡相關位置,只對這些候選位置進行新的計算,再由主幹模型從新預測中選擇提交哪個 token,從而在精度和計算量之間取得更優權衡。

來源arXiv Computational Linguistics作者: Yukai Jin, Zhankai Ye, Jiayue Yang, Fangyi Li, Shuoqiu Li, Xu Gao, Shibo Li, Xin Liu, Shangqian Gao
TraceQuery:從擴散語言模型的全去噪軌跡中學習哪些位置需要重算
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

擴散大語言模型(dLLM)透過迭代式掩碼去噪實現靈活生成,但其推理成本高昂,因為 token 表示會在每個去噪步驟中被反覆重算。現有基於快取的方法試圖透過複用去噪步驟之間的中間結果來降低成本,並在每一步只重算部分位置,而這些位置要麼按固定排程選擇,要麼依據啟發式的變化訊號選擇。

這篇由 Yukai Jin、Zhankai Ye、Jiayue Yang、Fangyi Li、Shuoqiu Li、Xu Gao、Shibo Li、Xin Liu 和 Shangqian Gao 撰寫的論文,從軌跡角度重新審視了這一問題。作者的軌跡實驗表明,真正相關的量是解碼軌跡,而非單純的表示誤差。只要快取式生成的結果足夠貼近全去噪軌跡,準確率就能保持;錯誤主要集中在取消掩碼順序發生偏離的地方,而當模型恢復更長的參考字首時,這些錯誤會減少。

據此,作者提出了一個更直接的原則:限制表示誤差固然有幫助,但讓生成過程保持在全去噪軌跡上,才是準確解碼更直接的途徑。基於這一觀察,研究團隊將高效的 dLLM 推理形式化為“軌跡引導的查詢”問題:不再廣泛地修復表示誤差,而是用全去噪軌跡來監督哪些尚未解析的位置應當獲得有限的新鮮計算。

在此框架下,作者提出了 TRACEQUERY,一種輕量級稀疏解碼框架。它先預測一小組與近期未來軌跡相關的候選位置,只對這些候選位置發起查詢,然後再由主幹模型根據這些位置的新預測,決定最終提交哪一個 token。這種設計把“在哪裡重算”的決策與主幹模型的解碼過程結合起來,避免了對所有位置進行無差別重算。

實驗結果顯示,在基於快取的方法中,TRACEQUERY 取得了最強的質量—計算權衡:它以顯著更少的新鮮 token 計算維持了較高準確率,並且在任務、模型變體和模型系列之間表現出良好的泛化能力。

論文正文共 9 頁,附錄 5 頁,包含 4 幅圖和 1 張表,屬於計算與語言(cs.CL)以及人工智慧(cs.AI)方向。該工作於 2026 年 10 月 7 日提交至 arXiv,編號為 arXiv:2610.33008v1,程式碼已在 GitHub 上公開。

展開要點與分析

文章情報

工程師進階

要點

  • 快取式 dLLM 生成保持準確的關鍵是貼近全去噪軌跡,誤差主要來自取消掩碼順序的偏離
  • TraceQuery 預測少量近期軌跡相關位置並只查詢這些候選,由主幹從新預測中選擇提交
  • 該方法在快取類方法中取得最優的質量—計算權衡,且可跨任務、模型變體和系列泛化

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。