殘差上下文擴散語言模型

擴散大語言模型（dLLM）作為純自迴歸語言模型的有前途替代方案而興起，因為它們能夠並行解碼多個令牌。然而，最先進的塊級dLLM依賴於一種“重新掩碼”機制，該機制僅解碼最自信的令牌並丟棄其餘部分，實際上浪費了大量計算。研究表明，回收被丟棄令牌的計算是有益的，因為這些令牌保留了後續去噪迭代中可用的上下文資訊。為此，我們提出了殘差上下文擴散（RCD），這是一個將丟棄的令牌表示轉換為上下文殘差並重新注入下一去噪步驟的模組。RCD採用解耦的兩階段訓練流程，以繞過後向傳播帶來的記憶體瓶頸。我們在長鏈思維推理（SDAR）和短鏈思維指令跟隨（LLaDA）模型上驗證了該方法。結果表明，僅需約10億令牌，即可將標準dLLM高效轉換為RCD正規化。在廣泛的基準測試中，RCD以極少的額外計算開銷，持續將前沿dLLM的準確率提升5-10個百分點。值得注意的是，在最具挑戰性的AIME任務上，RCD幾乎將基線準確率翻倍，並在相等準確率水平下實現了高達4-5倍的去噪步驟減少。這一成果表明，透過有效回收計算資源，擴散語言模型可以更高效、更準確地生成文本，為未來大規模部署提供了新的可能性。此外，RCD的解耦訓練流程顯著降低了記憶體需求，使得在有限資源下也能進行訓練。該研究由加州大學伯克利分校的研究人員完成，相關論文已發表於2026年7月。RCD的提出不僅提升了dLLM的效能，也為後續研究提供了新的思路，例如如何進一步最佳化丟棄令牌的利用策略。