来自 arXiv 的最新论文 FlowLM 提出了一条把扩散语言模型改造成高效少步生成模型的路径。该方法由 Runzhe Zhang 等五位作者完成,于 2026 年 4 月 6 日提交,归入计算与语言(cs.CL)以及人工智能(cs.AI)方向,全文共 26 页、11 幅图。
扩散语言模型的一个核心问题是采样效率。扩散过程需要沿一条弯曲的轨迹逐步去噪,往往要经过大量采样步数才能得到较高质量的文本,论文中提到的对照基准就是 2000 步扩散采样。步数多意味着推理成本高,这在实际部署中构成了明显障碍。FlowLM 的思路不是从零训练一个新模型,而是对已有的预训练扩散语言模型做高效微调,将其转化为流匹配(flow matching)模型。
关键操作在于轨迹重对齐:把扩散模型原本弯曲的采样路径重新调整为近似直线的流。直线流意味着从噪声到数据的路径更短、更直接,因此模型可以在很少的采样步数内完成生成,同时保持较高质量。作者报告称,这种少步生成的质量能够与 2000 步扩散采样相媲美,甚至在某些情况下更好,而实现这一转换只需要非常少的训练轮次。
论文还比较了两条训练路线。一是把预训练扩散模型微调为 FlowLM,二是从零开始训练流匹配模型。结果显示,微调版在仅需一半训练轮次时就达到性能饱和,两条路线最终都大幅优于原始扩散模型。这一对比既说明扩散到流的适配是有效的,也说明利用已有预训练权重可以显著节省训练预算。
在训练目标上,作者验证了一种他们认为更有效的流匹配目标:直接预测干净数据。与让模型去拟合噪声或中间速度场的做法相比,预测干净数据能够持续把采样过程引向真实数据分布,从而提升生成质量。这一发现对后续流匹配语言模型的设计具有参考价值。
总体而言,FlowLM 的价值在于把两类方法的优势结合起来:一方面继承扩散语言模型的预训练成果,另一方面借助流匹配的直线轨迹获得少步采样能力。实验结果支持该方法在高品质、少步文本生成上的有效性。不过,论文目前以摘要和实验结论的形式呈现,具体基准、模型规模与推理加速幅度等细节仍需查阅全文。