连续扩散口语语言的缩放特性
该研究探索了连续扩散（CD）口语语言模型（SLM）的扩展性能，引入音素Jensen-Shannon散度（pJSD）度量，发现CD SLM遵循缩放定律，并在高计算量下呈现损失平坦化，允许更灵活的参数与数据分配。扩展到160亿参数和数千万小时对话数据时，可生成富有情感、韵律、多说话人和多语言的语音，但长时连贯性仍是挑战。
连续扩散口语语言模型的缩放特性研究
苹果机器学习研究团队发表了一篇论文，系统分析了连续扩散（Continuous Diffusion, CD）口语语言模型（SLM）的扩展性能。口语语言模型仅处理语音信号，其性能通常落后于文本模型或文本-语音混合模型。现有的离散自回归（AR）方法在将连续语音离散化时存在瓶颈，因此研究者探讨了CD SLM是否更具可行性。
为了量化SLM的语言质量，该研究提出了音素Jensen-Shannon散度（pJSD）度量，用于评估生成语音的音素分布与真实分布的差异。实验表明，CD SLM与AR模型类似，其验证损失和pJSD均遵循缩放定律。然而，与AR不同的是，CD SLM的损失在高计算量下对模型参数和数据规模的选择变得不敏感，这为快速推理提供了可能。
研究进一步发现，随着计算量的增加，CD SLM的最优令牌与参数比率逐渐降低，且等FLOPs曲线在其最优点的曲率减小，意味着在较大范围内选择参数和数据规模都能获得接近最优的性能。当模型规模扩展到160亿参数，并利用数千万小时的对话数据进行训练时，CD SLM能够生成富有情感、韵律、多说话人和多语言的语音。不过，长时连贯性（long-form coherence）仍然是重大挑战，生成内容在长时间跨度上的一致性有待提升。
该研究为口语语言模型的扩展方向提供了新见解，表明连续扩散方法在高效推理和大规模部署方面具有潜力。