纯语音的语音语言模型(spoken language models,SLM)在性能上一直落后于纯文本模型以及文本-语音联合模型,而近期的离散自回归(autoregressive,AR)SLM 表明,要追平文本模型需要付出相当大的计算与数据代价。由于将连续语音离散化后再进行自回归建模会形成瓶颈,本文探讨连续扩散(continuous diffusion,CD)SLM 是否是更可行的路线。为了量化此类 SLM 的语言质量,研究团队提出了音素 Jensen-Shannon 散度(phoneme Jensen-Shannon divergence,pJSD)指标。
论文的分析显示,CD SLM 与 AR 模型表现出相似的行为:在验证损失和 pJSD 上都呈现出缩放规律(scaling laws),并且最优的“token 与参数量之比”会随着算力的扩大而下降。不过在后一方面,损失对数据规模和模型规模的选择变得不敏感,这意味着存在实现快速推理的潜力。
研究进一步考察了等 FLOP 曲线(isoFLOPs)在各自最优点处的曲率 κ。结果显示,随着算力增加,这一曲率不断减小;曲线的平坦化对应着约两个数量级的扩展,即模型规模(ΔN)与数据集规模(ΔD)的可选范围显著变宽,而这些配置仍能取得与最优损失 L* 相差不超过 ε 的性能。换句话说,更高的算力使得在更广泛的参数与数据分配比例下都能获得接近最优的表现,从而打开了一条高效的推理前沿。
作者将 CD SLM 扩展到 160 亿参数,并使用数千万小时的对话数据进行训练,模型能够生成富有情感、韵律丰富、支持多说话人以及多语言的语音。然而,研究也指出,实现长篇内容的一致性仍然是一项重大挑战。
论文作者包括 Jason Ramapuram、Eeshan Gunesh Dhekane、Amitis Shidani、Dan Busbridge、Bogdan Mazoure、Zijin Gu、Russ Webb、Tatiana Likhomanenko 和 Navdeep Jaitly,部分工作与 Google 和 Apple 相关,其中若干作者标注为在 Apple 任职期间完成。该论文发表于 2026 年 7 月。