擴散大語言模型(dLLM)在生成質量上表現出色,但其推理效率長期受限於並行解碼策略中的過度保守置信閾值。這些閾值源於聯合機率依賴誤差(Joint Probability Dependence Error, JPDE),該誤差迫使模型在解碼過程中對每個新token要求極高的置信度,以防錯誤累積,從而導致冗餘的去噪迭代和次優的推理速度。針對這一瓶頸,來自研究團隊的最新論文《DC-Leap: Training-Free Acceleration of dLLMs via Draft-Guided Contiguous Leaping Decoding》提出了一種無需訓練的加速框架DC-Leap,旨在在不犧牲生成質量的前提下顯著提升dLLM的推理效率。
DC-Leap的核心創新體現在兩個關鍵機制上:動態連續驗證(Dynamic Contiguous Verification)和草稿引導解碼(Draft-Guided Decoding)。動態連續驗證策略在並行解碼過程中引入嚴格有序的因果約束,透過逐步驗證token之間的依賴關係來有效消除JPDE的影響。與傳統的固定置信閾值不同,這一機制能夠在中等置信度區域進行可靠加速,從而避免了因過度保守導致的效能損失。實驗表明,該策略在保持與基線方法相媲美的生成質量的同時,大幅減少了不必要的去噪迭代次數。
草稿引導解碼機制則進一步提升了加速效果。該機制利用一個草稿模型向前跳躍多個token,為後續生成提供前瞻性上下文。這種方法不僅擴充套件了模型的上下文視窗,還保留了雙向注意力在推理過程中的結構優勢,確保了生成內容的一致性和連貫性。透過將草稿模型與主模型協同工作,DC-Leap能夠在不增加訓練成本的情況下實現高效的並行解碼。
研究團隊在多個標準基準上進行了全面實驗。結果顯示,DC-Leap在長序列生成任務中表現尤為突出。例如,在MBPP資料集上,DC-Leap實現了最高53.19倍的加速;當與KV-Cache技術結合時,加速比進一步提升至105.02倍,且生成質量與基線方法相比幾乎沒有損失。這些資料充分證明了DC-Leap在dLLM加速方面的巨大潛力。
目前,研究者已將DC-Leap的程式碼開源在GitHub上(https://github.com/ffh-wyls/DC-Leap),供社群驗證和進一步開發。這一工作為dLLM的高效推理提供了一種新穎且實用的解決方案,有望推動該模型在資源受限環境中的部署。未來,研究人員計劃將DC-Leap擴充套件到其他型別的擴散模型,並探索其在即時應用中的可能。