跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

如何引导你的语言流:Apple 的 probe guidance 为扩散语言模型带来新 SOTA

文章摘要

Apple 研究团队提出 probe guidance,利用现有扩散模型冻结的内部状态构建引导信号,无需在推理时增加额外前向传播。该方法在连续扩散语言模型的无条件生成上取得新 SOTA,并在 1.7B 模型上提升多项选择题问答基准,同时为理解 autoguidance 的实际机制提供了新线索。

如何引导你的语言流:Apple 的 probe guidance 为扩散语言模型带来新 SOTA
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Apple 研究团队在 2026 年 9 月发布了一篇题为《How to Guide Your Language Flow》的论文,提出一种用于引导 flow matching 模型的新方法,作者将其命名为 probe guidance。该方法的思路与 autoguidance 类似,但实现路径不同:它直接利用已有扩散模型中冻结的内部状态来构造引导信号,因此无需在推理阶段额外执行一次前向传播。

论文作者包括 Rohit Dilip、Tianrong Chen、Yuyang Wang、David Van Valen、Josh Susskind 和 Miguel Angel Bautista。其中 Rohit Dilip 与 David Van Valen 来自 Caltech,Rohit Dilip 的相关工作是在 Apple 任职期间完成的。

研究团队将该方法应用到连续扩散语言模型上,并在无条件生成任务中取得了新的 state-of-the-art 表现。当把 probe guidance 用于一个 17 亿参数(1.7B)的扩散语言模型时,多项选择题问答基准也获得了一致提升,说明这种引导方式不仅能改善生成质量,也能增强模型在理解型任务上的表现。

此外,probe guidance 还提供了一条可靠的路径,用以确保弱模型与强模型共享相似的动态。借助这些 probes,研究者重新审视了传统的 autoguidance 设置,即用弱模型检查点充当强模型,并发现弱模型必须来自训练过程中的低熵区域。这一结论既给出了改进扩散语言模型的实用手段,也揭示了目前仍未被充分理解的 autoguidance 背后的实际机制。

这项工作与 Apple 在扩散语言模型方向的其他研究相互呼应。例如 2025 年 10 月 13 日发布的 FS-DFM 关注用少步扩散实现快速且准确的长文本生成,并指出自回归语言模型虽然似然表现强,却因逐 token 串行生成而限制吞吐、推高长序列延迟,而标准离散扩散往往需要数百到数千次模型评估才能达到高质量。另一项 2025 年 4 月 16 日的工作则探索如何从自回归模型适配来扩展扩散语言模型,指出当前扩散语言模型的研究规模仍小于自回归模型、缺乏公平的语言建模基准比较,且从零开始大规模训练依然困难。这些工作分别针对离散扩散推理步数过多以及大规模训练困难等问题,共同推进了扩散语言模型作为文本生成新范式的可行性。

展开要点与分析

文章情报

投资人进阶

要点

  • probe guidance 用扩散模型冻结的内部状态生成引导信号,省去推理时的额外前向传播,并可靠确保弱模型与强模型动态相似
  • 在连续扩散语言模型的无条件生成上达到新 SOTA,并一致改善 1.7B 模型的多项选择题问答基准
  • 研究发现传统 autoguidance 中的弱模型必须来自训练中的低熵区域,有助于解释这一尚不明确的机制

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。