Apple 研究团队在 2026 年 9 月发布了一篇题为《How to Guide Your Language Flow》的论文,提出一种用于引导 flow matching 模型的新方法,作者将其命名为 probe guidance。该方法的思路与 autoguidance 类似,但实现路径不同:它直接利用已有扩散模型中冻结的内部状态来构造引导信号,因此无需在推理阶段额外执行一次前向传播。
论文作者包括 Rohit Dilip、Tianrong Chen、Yuyang Wang、David Van Valen、Josh Susskind 和 Miguel Angel Bautista。其中 Rohit Dilip 与 David Van Valen 来自 Caltech,Rohit Dilip 的相关工作是在 Apple 任职期间完成的。
研究团队将该方法应用到连续扩散语言模型上,并在无条件生成任务中取得了新的 state-of-the-art 表现。当把 probe guidance 用于一个 17 亿参数(1.7B)的扩散语言模型时,多项选择题问答基准也获得了一致提升,说明这种引导方式不仅能改善生成质量,也能增强模型在理解型任务上的表现。
此外,probe guidance 还提供了一条可靠的路径,用以确保弱模型与强模型共享相似的动态。借助这些 probes,研究者重新审视了传统的 autoguidance 设置,即用弱模型检查点充当强模型,并发现弱模型必须来自训练过程中的低熵区域。这一结论既给出了改进扩散语言模型的实用手段,也揭示了目前仍未被充分理解的 autoguidance 背后的实际机制。
这项工作与 Apple 在扩散语言模型方向的其他研究相互呼应。例如 2025 年 10 月 13 日发布的 FS-DFM 关注用少步扩散实现快速且准确的长文本生成,并指出自回归语言模型虽然似然表现强,却因逐 token 串行生成而限制吞吐、推高长序列延迟,而标准离散扩散往往需要数百到数千次模型评估才能达到高质量。另一项 2025 年 4 月 16 日的工作则探索如何从自回归模型适配来扩展扩散语言模型,指出当前扩散语言模型的研究规模仍小于自回归模型、缺乏公平的语言建模基准比较,且从零开始大规模训练依然困难。这些工作分别针对离散扩散推理步数过多以及大规模训练困难等问题,共同推进了扩散语言模型作为文本生成新范式的可行性。