近日，一篇題為《多掩碼擴散語言模型用於少步生成》的論文被COLM 2026接收。該研究針對掩碼擴散模型（MDM）在少步生成中的侷限性，提出了一種創新的多掩碼擴散模型（MultiMDM）。
傳統MDM在正向擴散過程中，所有軌跡最終都坍縮到一個單一的全掩碼狀態，這導致終端熵為零，無法有效支援一致性風格的少步生成。儘管近期有基於均勻狀態擴散的少步替代方案避免了這一問題，但它們難以區分乾淨令牌和噪聲，從而損害了建模質量和訓練效率。
MultiMDM的核心思想是在正向過程中為每個乾淨令牌首先推向一個指定的掩碼，然後逐漸在多個掩碼之間混合。這樣一來，反向過程就獲得了“草稿”能力：先預測一個指定的掩碼，再細化出乾淨的令牌。研究團隊推匯出了一個閉式的證據下界（ELBO）訓練目標，該目標支援從預訓練的MDM進行持續訓練。此外，他們還提出了一種純離散狀態的一致性蒸餾方案，透過共享的Gumbel耦合來降低路徑熵。
實驗在預訓練和蒸餾兩個場景下進行，結果表明MultiMDM為原則性的少步生成提供了有效基礎。該成果被認為推動了語言生成模型在效率和質量上的平衡發展。
具體而言，研究人員首先在標準語言建模基準上進行了預訓練實驗，比較了MultiMDM與傳統MDM以及均勻狀態擴散模型的效能。結果顯示，在相同步數下，MultiMDM生成的文本質量顯著優於傳統MDM，並且接近或超越了均勻狀態擴散模型的表現。更重要的是，在少步生成（例如2步或4步）場景中，MultiMDM的優勢尤為突出，因為其保留了掩碼結構的優勢，同時避免了終端熵為零的問題。
在蒸餾實驗中，研究團隊利用一致性蒸餾技術將MultiMDM教師模型的知識遷移到學生模型中，進一步提升了推理速度。共享Gumbel耦合的引入使得蒸餾過程更加穩定，並減少了路徑熵，從而提高了蒸餾模型的生成質量。
這項研究的意義在於，它為少步生成提供了一種新的原則性框架，有望在即時應用場景中大幅降低推理成本，同時保持生成文本的高質量。未來，MultiMDM可以擴充套件到其他模態，如影像和音訊生成，為擴散模型在效率與質量之間的權衡提供新的思路。