扩散模型在文本生成领域一直被视为有望实现高效并行解码的路线,但其核心机制依赖双向注意力,这与当前主流、经过大规模预训练的因果自回归(Autoregressive,AR)模型存在根本性的结构错配。这种不兼容意味着研究者无法直接复用已经积累的AR先验知识,往往不得不从零开始进行代价高昂的预训练,从而抬高了进入门槛。针对这一矛盾,由Xiangyu Ma等四位作者完成、已被ACL 2026接收的论文《From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons》提出了名为FLUID的框架,试图在保留自回归基础的同时引入扩散式并行生成的优势。
FLUID的第一项关键设计是“严格因果对齐”(Strictly Causal Alignment)。通过在适配过程中强制维持因果性约束,该框架能够直接从标准的GPT风格检查点进行初始化,使已有的自回归权重得以无缝迁移到扩散范式中,从而绕开大规模从头预训练的需求。这一设计的意义在于,它把扩散模型的高效并行生成能力与现有开源及工业界广泛部署的AR模型资产连接起来,显著降低了采用扩散式文本生成的技术与算力成本。
第二项关键设计是“弹性视野”(Elastic Horizons)。传统的去噪过程通常采用固定的步长或时间表,而FLUID引入了一种由熵驱动的动态机制,根据局部信息密度自适应地调节去噪步幅,而不是依赖预设的固定调度。这意味着模型可以在信息密集的区域投入更细致的去噪步骤,在信息稀疏的区域则加快节奏,从而在生成质量与计算效率之间取得更灵活的平衡。
论文摘要指出,实验结果表明FLUID在达到当前最优性能的同时,将训练成本降低了数个数量级,有效调和了成熟的自回归基础与高效并行生成之间的矛盾。该工作属于计算与语言(cs.CL)以及人工智能(cs.AI)交叉方向,提交时间为2026年4月11日,arXiv编号为2605.27387,第一版于当日13:18:27 UTC发布,全文约1,710 KB,采用标准的arXiv许可。作者已公开代码,仓库地址为https://github.com/Oli-lab-nun/FLUID/tree/main/,便于社区复现与后续研究。
从更广的视角看,FLUID所回应的是大语言模型生成范式演进中的一个核心工程难题:如何在不大规模重置训练投入的前提下切换解码范式。严格因果对齐解决的是“能否复用”的问题,弹性视野解决的是“如何更聪明地分配计算”的问题,二者结合使扩散式并行生成更接近可落地的实用方案。其局限与适用范围仍需通过完整论文中的实验细节加以检验,包括在不同规模骨干模型上的迁移效果、熵驱动调度的稳定性,以及并行生成在实际推理场景中的吞吐收益。