本文介绍的是 arXiv 论文《Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation》（通过在线策略蒸馏实现数据高效的自回归到扩散语言模型转换），编号 arXiv:2606.06712v1，属于 cs.CL（计算与语言）分类，并交叉列入 cs.AI（人工智能）。论文由 Xingyu Su 等共九位作者完成，提交时间为 2026 年 6 月 4 日 20:58:08 UTC，全文约 1,688 KB。研究聚焦一个日益受关注的问题：如何把已经训练好的自回归语言模型（ARLM）转换成扩散语言模型（DLM），而不必从零开始预训练。
作者指出，此前的做法是先去掉 ARLM 中的因果注意力，替换为双向注意力，再用标准的 DLM 目标函数训练改造后的模型。这条路线看似直接，却会引入两处分布偏移。第一处发生在目标函数层面：从逐 token 预测（next-token prediction）切换到扩散式去噪目标，原有 ARLM 在训练中积累的知识可能在转换过程中被丢弃或削弱。第二处是扩散语言模型普遍存在的训练—推理不匹配问题：训练损失建立在随机掩码序列之上，而推理时模型实际经历的却是基于置信度解码（confidence-based decoding）所生成的轨迹，两者分布并不一致，导致训练目标与部署行为之间存在鸿沟。
针对这两点，论文提出在线策略扩散语言模型（On-Policy Diffusion Language Model，OPDLM），其核心是把在线策略蒸馏（On-Policy Distillation，OPD）用于 ARLM 到 DLM 的转换。具体而言，OPDLM 采用“自在线策略蒸馏”（self-OPD）的训练方式：学生模型是一个把因果注意力改为双向注意力的 ARLM，它自行生成推理轨迹；教师模型则是原始冻结的 ARLM，在这些由学生产生的轨迹上给出目标 logits，把自身知识蒸馏给学生。
这种设计同时回应了前述两个挑战。由于训练直接发生在学生模型自己生成的在线轨迹上，OPDLM 消除了标准 DLM 中的训练—推理不匹配；而来自原始模型的目标 logits 又充当了知识锚点，显著提升了对原 ARLM 所学知识的保留程度。作者强调，这一流程把 DLM 转换重新定位为一种 ARLM 的后训练（post-training）形式，而非代价高昂的从头预训练。
实验结果支持这一判断：OPDLM 在多种任务上表现强劲，同时所需训练 token 比对比方法少 15 倍至 7,000 倍。论文认为，这使研究者能够绕开扩散语言模型预训练的高昂成本，为在现有自回归模型基础上高效获得扩散式生成能力提供了一条可行路径。需要注意的是，本文为 arXiv 预印本（v1），尚未经过同行评审，具体实验设置、基线选择与任务范围仍需读者查阅全文核实。