自生成错误训练：扩散语言模型中的令牌编辑改进

扩散语言模型是一种新兴的文本生成技术，它通过逐步去噪的方式从随机噪声中恢复出完整的文本序列。与自回归模型不同，扩散模型允许并行解码，并在解码过程中通过编辑模块对已生成的令牌进行修正。LLaDA2.1是这类模型中的代表，其令牌到令牌（Token-to-token, T2T）编辑模块专门用于在块扩散解码过程中修订已提交的令牌。然而，该模块的训练和推理之间存在一个关键的不匹配：训练时，编辑器被训练以应对随机词汇损坏——即随机替换一些令牌为错误令牌；但在推理时，编辑器实际面对的是模型自身生成的错误，这些错误通常是流畅的、高置信度的草稿错误，而非随机噪声。这种差异导致编辑器的性能受到限制，尤其是在需要精确数字或简短事实回答的任务中，容易出现最终数字转录错误或在正确答案前进行不必要的自我修正。

为了解决这一训练-推理不匹配问题，Lin Yao等人在arXiv上发表的论文中提出了自生成错误训练（Self-Generated Error Training）方法。该方法的核心在于让编辑器在训练过程中模拟推理阶段的实际错误分布。具体步骤如下：首先，模型进行一次无梯度的草稿生成，即普通的前向传播得到初步输出；然后，将这些输出中的某些位置用模型预测的令牌进行填充，从而构造出类似推理阶段的错误模式；最后，在第二次前向传播中，模型被监督学习如何从这些自生成的错误中恢复到正确的结果。整个过程不涉及额外的梯度计算，而是通过对LLaDA2.1-mini模型进行简短的LoRA（Low-Rank Adaptation）持续预训练来实现。LoRA是一种高效的微调方法，通过更新一小部分参数来适应新的任务，从而避免了全模型微调的高计算成本。

在实验部分，研究者在多个基准测试上对自生成T2T方法进行了评估，包括需要精确数字输出和事实回答的任务。他们采用了官方的Q-Mode T2T流程，并保持所有推理参数不变，以确保对比的公平性。实验结果表明，与基线相比，自生成T2T方法在整体准确率上有所提升，同时T2T编辑的强度——即模型对已生成令牌进行修改的频率——有所降低。更重要的是，该方法有效缓解了两种典型的失败模式：一是模型在正确推理后却将最终数字转录错误，例如在算术题中得出正确结果但输出时数字出错；二是在回答简短事实问题前进行过度的自我修正，导致原本正确的答案被改写错误。这些改进表明，通过使训练数据更接近推理时的错误分布，可以显著提升编辑器的鲁棒性和准确性。

这项研究对于扩散语言模型的发展具有重要意义。它揭示了训练数据分布对模型性能的深远影响，并提供了一种简单而有效的解决方案。未来，该方法有望被集成到更大的模型和更广泛的任务中，进一步推动扩散模型在文本生成领域的应用。研究人员表示，相关代码和模型将在未来公开，以便社区复现和进一步发展。