离散扩散语言模型(Discrete Diffusion Language Model, DLM)通过并行迭代去噪所有位置来生成文本,为自回归模型提供了一种替代方案。然而,从自回归模型中引入的控制生成方法通常采用统一干预调度,即在每个去噪步骤施加相同的干预。研究人员发现,这种统一调度严重降低了生成质量,并且当同时控制多个属性时,质量损伤会进一步加剧。
为了诊断失败原因,研究团队在四个参数规模从124M到8B的DLM上训练了稀疏自编码器。结果显示,不同的属性(如主题和情感)在去噪过程中遵循截然不同的固化时间表:主题在前2%的去噪步骤内迅速固化,而情感则在约20%的过程中逐渐显现。因此,统一干预会在目标属性已固化或尚未出现的步骤上浪费引导能力。
基于这一发现,研究者提出了一种新颖的自适应调度器,将干预集中在属性正在活跃形成的步骤上,而其余生成步骤保持不变。该方法的成本-控制权衡具有封闭形式的特征:自适应调度相对于统一调度的优势由固化分布的单个离散统计量决定。
在四个DLM和七个引导任务的实验中,该方法实现了精确控制,没有出现统一干预典型的质量退化。特别在具有挑战性的三属性同时控制任务中,自适应调度达到了高达93%的引导强度,比最强基线高出15个百分点,同时保持了生成质量。这项研究为离散扩散模型的控制生成提供了新的思路,有望在文本生成、内容定制等领域发挥重要作用。该论文由Hanhan Zhou等人撰写,于2026年5月8日提交至arXiv,编号2605.10971。