令牌时间连续扩散：一种新型语言建模方法
本文提出令牌时间连续扩散（TTCD），一种在连续空间中操作的新型扩散语言模型，引入每令牌时间步概念，使不同令牌以不同速率从噪声转化为令牌。TTCD通过连续空间建模避免了并行采样多个令牌的不准确性，在高速加速下显著优于离散模型。研究者在OpenWebText上训练了1.6亿参数的TTCD模型，并通过自蒸馏在无条件生成中达到可比质量，在条件生成中超越多个同等规模模型，在数独求解任务中也取得类似改进。
近日，一篇发表在arXiv上的论文提出了一种名为“令牌时间连续扩散”（Token Time Continuous Diffusion, TTCD）的新型语言模型。该模型在连续空间中操作，将高斯噪声确定性地映射到最终的令牌画布上，无需进一步采样，并引入了每个令牌独立的时间步概念，使某些令牌从噪声转化为令牌的速度快于其他令牌。
扩散语言模型近年备受关注，其通过逐步去噪生成数据。然而，传统离散空间模型在高速加速时需并行采样多个令牌，这往往导致不准确性。TTCD通过连续空间建模从根本上避免了这一问题，因为连续空间允许模型在确定性的映射过程中同时考虑所有令牌，无需为加速而牺牲精度。此外，每令牌时间步的引入使模型能更好地处理条件生成任务——那些更确定的令牌可以更快地完成去噪，而其他令牌则根据需要调整速度。这种差异化处理还增强了精炼阶段令牌间的相互影响，使生成结果更加协调。
实验结果表明，TTCD在高速加速下显著优于离散模型。研究团队在OpenWebText数据集上训练了一个1.6亿参数的TTCD模型，并进行了自蒸馏（一种将教师模型知识迁移到自身的技术）。在高速加速条件下，该模型在无条件生成质量上与现有模型相当，而在条件生成上则超越了多个同等规模、在相同数据上训练并自蒸馏的现有模型。此外，TTCD在数独求解任务中也展现出类似的改进，证明了其在不同类型序列生成中的潜力。
该研究由Parikshit Bansal等人完成，论文编号为arXiv:2607.14106，于2026年5月7日提交，涉及计算与语言（cs.CL）和人工智能（cs.AI）领域。TTCD的提出为高效、高质量的语言生成提供了新的方向，特别是在需要高速推理的场景（如实时对话系统、在线内容生成）中具有潜在应用价值。未来，研究者计划进一步探索TTCD在大规模模型和更多任务上的表现。