離散擴散語言模型(Discrete Diffusion Language Model, DLM)透過並行迭代去噪所有位置來生成文本,為自迴歸模型提供了一種替代方案。然而,從自迴歸模型中引入的控制生成方法通常採用統一干預排程,即在每個去噪步驟施加相同的干預。研究人員發現,這種統一排程嚴重降低了生成質量,並且當同時控制多個屬性時,質量損傷會進一步加劇。
為了診斷失敗原因,研究團隊在四個引數規模從124M到8B的DLM上訓練了稀疏自編碼器。結果顯示,不同的屬性(如主題和情感)在去噪過程中遵循截然不同的固化時間表:主題在前2%的去噪步驟內迅速固化,而情感則在約20%的過程中逐漸顯現。因此,統一干預會在目標屬性已固化或尚未出現的步驟上浪費引導能力。
基於這一發現,研究者提出了一種新穎的自適應排程器,將干預集中在屬性正在活躍形成的步驟上,而其餘生成步驟保持不變。該方法的成本-控制權衡具有封閉形式的特徵:自適應排程相對於統一排程的優勢由固化分佈的單個離散統計量決定。
在四個DLM和七個引導任務的實驗中,該方法實現了精確控制,沒有出現統一干預典型的質量退化。特別在具有挑戰性的三屬性同時控制任務中,自適應排程達到了高達93%的引導強度,比最強基線高出15個百分點,同時保持了生成質量。這項研究為離散擴散模型的控制生成提供了新的思路,有望在文本生成、內容定製等領域發揮重要作用。該論文由Hanhan Zhou等人撰寫,於2026年5月8日提交至arXiv,編號2605.10971。