跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

连续扩散语音语言模型的缩放特性

文章摘要

本文研究连续扩散语音语言模型(CD SLM)的缩放规律,提出音素Jensen-Shannon散度(pJSD)指标来衡量语言质量,发现CD SLM与自回归模型类似存在缩放定律,最优token与参数比随计算量增加而下降,但损失对数据与模型大小选择不敏感,为快速推理提供可能。将CD SLM扩展至160亿参数并用数千万小时对话数据训练,可生成富有情感、韵律、多说话人、多语言的语音,但长程连贯性仍是重大挑战。

连续扩散语音语言模型的缩放特性
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

纯语音的语音语言模型(spoken language models,SLM)在性能上一直落后于纯文本模型以及文本-语音联合模型,而近期的离散自回归(autoregressive,AR)SLM 表明,要追平文本模型需要付出相当大的计算与数据代价。由于将连续语音离散化后再进行自回归建模会形成瓶颈,本文探讨连续扩散(continuous diffusion,CD)SLM 是否是更可行的路线。为了量化此类 SLM 的语言质量,研究团队提出了音素 Jensen-Shannon 散度(phoneme Jensen-Shannon divergence,pJSD)指标。

论文的分析显示,CD SLM 与 AR 模型表现出相似的行为:在验证损失和 pJSD 上都呈现出缩放规律(scaling laws),并且最优的“token 与参数量之比”会随着算力的扩大而下降。不过在后一方面,损失对数据规模和模型规模的选择变得不敏感,这意味着存在实现快速推理的潜力。

研究进一步考察了等 FLOP 曲线(isoFLOPs)在各自最优点处的曲率 κ。结果显示,随着算力增加,这一曲率不断减小;曲线的平坦化对应着约两个数量级的扩展,即模型规模(ΔN)与数据集规模(ΔD)的可选范围显著变宽,而这些配置仍能取得与最优损失 L* 相差不超过 ε 的性能。换句话说,更高的算力使得在更广泛的参数与数据分配比例下都能获得接近最优的表现,从而打开了一条高效的推理前沿。

作者将 CD SLM 扩展到 160 亿参数,并使用数千万小时的对话数据进行训练,模型能够生成富有情感、韵律丰富、支持多说话人以及多语言的语音。然而,研究也指出,实现长篇内容的一致性仍然是一项重大挑战。

论文作者包括 Jason Ramapuram、Eeshan Gunesh Dhekane、Amitis Shidani、Dan Busbridge、Bogdan Mazoure、Zijin Gu、Russ Webb、Tatiana Likhomanenko 和 Navdeep Jaitly,部分工作与 Google 和 Apple 相关,其中若干作者标注为在 Apple 任职期间完成。该论文发表于 2026 年 7 月。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出音素Jensen-Shannon散度(pJSD)量化语音语言模型的语言质量。
  • 连续扩散SLM在验证损失和pJSD上表现出缩放定律,最优token与参数比随计算规模增加而下降。
  • 损失对数据和模型大小的选择不敏感,暗示快速推理的潜力。
  • 扩展至16B参数和数千万小时数据可生成情感丰富、多语言语音,但长程连贯性仍具挑战。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。