扩散语言模型（Diffusion Language Models，DLM）作为一类有别于自回归模型的语言建模方法，近年来备受关注。来自 arXiv 的最新论文《Learnability-Informed Fine-Tuning of Diffusion Language Models》聚焦于提升这类模型的推理能力，由 Shubham Parashar 等共 8 位作者完成，于 2026 年 5 月 21 日提交至 arXiv，归类为计算与语言（cs.CL），并交叉列入机器学习（cs.LG），论文编号为 arXiv:2605.22939v1。
论文的出发点是探讨监督微调（Supervised Fine-Tuning，SFT）在扩散语言模型上的适用性。SFT 是自回归模型常用的后训练方法，但当研究者将其直接用于扩散语言模型时，却面临明显挑战，甚至可能反而损害模型性能。尽管这一现象已被观察到，其背后的成因此前却缺乏系统研究。作者通过分析指出，传统的 SFT 流程忽视了“可学习性”（learnability）这一关键维度，即模型在训练中究竟学到了哪些 token，以及在什么时机学到它们。
具体而言，扩散语言模型的训练涉及在不同扩散时间步对输入进行不同程度的掩码。当输入大部分被掩码时，模型可用的上下文信息非常有限，此时稀有 token 很难被有效学习；相反，当输入大部分未被掩码时，常见 token 的学习相对容易，继续让模型学习这些 token 价值有限。传统 SFT 并未针对不同时间步的信息可用性做出区分，因此训练效率与最终效果均受到制约。
基于这一分析，作者提出了 LIFT，一种面向扩散语言模型的高效 SFT 后训练算法。LIFT 的核心思想是让训练过程与不同扩散时间步所提供的信息量相匹配：在输入大部分被掩码、上下文稀缺的阶段，优先学习较容易的 token；而在上下文信息更充分的阶段，则转向学习较难的 token。通过这种分阶段、与扩散时间步对齐的训练策略，LIFT 使模型在每个阶段都能利用恰当的信息完成学习。
实验结果验证了该方法的有效性。研究团队在六个推理基准上对 LIFT 进行了评估，结果显示其性能优于现有的 SFT 基线方法，在 AIME'24 和 AIME'25 两个数学推理基准上取得了最高约 3 倍的相对提升。AIME 系列基准以高难度数学竞赛题著称，这一提升幅度表明 LIFT 在复杂推理任务上具有明显优势。
论文还提供了可复现性支持，代码已在 GitHub 上公开，地址为 https://github.com/divelab/LIFT，供研究者复现结果并在此基础上继续探索。论文全文可通过 arXiv 获取，包括 PDF 与实验性 HTML 版本，同时提供 TeX 源码与许可信息。从整体贡献看，该工作不仅提出了一个实用的后训练算法，还从“可学习性”的角度解释了扩散语言模型上 SFT 效果不佳的原因，为后续研究改进扩散语言模型的后训练流程提供了理论依据与实践参考。