跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

DC-Leap:透過草稿引導的連續跳躍解碼實現dLLM的無訓練加速

文章摘要

DC-Leap是一種無需訓練即可加速擴散大語言模型(dLLM)推理的框架。它透過動態連續驗證和草稿引導解碼克服了由聯合機率依賴誤差(JPDE)引起的過度保守置信閾值問題,在保持生成質量的同時實現顯著加速。實驗表明,在MBPP長序列生成任務上速度提升可達53.19倍,結合KV-Cache後可達105.02倍。

來源arXiv AI作者: Yanhua Jiao, Tianyi Wu, Xiaoxi Sun, Yulin Li, HuiLing Zhen, Libo Qin, Baotian Hu, Zhuotao Tian, Min Zhang
DC-Leap:透過草稿引導的連續跳躍解碼實現dLLM的無訓練加速
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

擴散大語言模型(dLLM)在生成質量上表現出色,但其推理效率長期受限於並行解碼策略中的過度保守置信閾值。這些閾值源於聯合機率依賴誤差(Joint Probability Dependence Error, JPDE),該誤差迫使模型在解碼過程中對每個新token要求極高的置信度,以防錯誤累積,從而導致冗餘的去噪迭代和次優的推理速度。針對這一瓶頸,來自研究團隊的最新論文《DC-Leap: Training-Free Acceleration of dLLMs via Draft-Guided Contiguous Leaping Decoding》提出了一種無需訓練的加速框架DC-Leap,旨在在不犧牲生成質量的前提下顯著提升dLLM的推理效率。

DC-Leap的核心創新體現在兩個關鍵機制上:動態連續驗證(Dynamic Contiguous Verification)和草稿引導解碼(Draft-Guided Decoding)。動態連續驗證策略在並行解碼過程中引入嚴格有序的因果約束,透過逐步驗證token之間的依賴關係來有效消除JPDE的影響。與傳統的固定置信閾值不同,這一機制能夠在中等置信度區域進行可靠加速,從而避免了因過度保守導致的效能損失。實驗表明,該策略在保持與基線方法相媲美的生成質量的同時,大幅減少了不必要的去噪迭代次數。

草稿引導解碼機制則進一步提升了加速效果。該機制利用一個草稿模型向前跳躍多個token,為後續生成提供前瞻性上下文。這種方法不僅擴充套件了模型的上下文視窗,還保留了雙向注意力在推理過程中的結構優勢,確保了生成內容的一致性和連貫性。透過將草稿模型與主模型協同工作,DC-Leap能夠在不增加訓練成本的情況下實現高效的並行解碼。

研究團隊在多個標準基準上進行了全面實驗。結果顯示,DC-Leap在長序列生成任務中表現尤為突出。例如,在MBPP資料集上,DC-Leap實現了最高53.19倍的加速;當與KV-Cache技術結合時,加速比進一步提升至105.02倍,且生成質量與基線方法相比幾乎沒有損失。這些資料充分證明了DC-Leap在dLLM加速方面的巨大潛力。

目前,研究者已將DC-Leap的程式碼開源在GitHub上(https://github.com/ffh-wyls/DC-Leap),供社群驗證和進一步開發。這一工作為dLLM的高效推理提供了一種新穎且實用的解決方案,有望推動該模型在資源受限環境中的部署。未來,研究人員計劃將DC-Leap擴充套件到其他型別的擴散模型,並探索其在即時應用中的可能。

展開要點與分析

文章情報

工程師進階

要點

  • DC-Leap解決了dLLM並行解碼中因JPDE導致的過度保守置信閾值問題。
  • 引入動態連續驗證策略,在並行解碼中整合嚴格有序的因果約束,有效消除JPDE。
  • 採用草稿引導解碼機制,透過向前跳躍多個token擴充套件上下文,保留雙向注意力的結構優勢。
  • 在標準基準上實現高達53.19倍(MBPP長序列)和105.02倍(結合KV-Cache)的加速,且生成質量相當。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。