口语语言模型(Spoken Language Models,SLMs)近年被视为语音合成领域一条颇具前景的新路径,其核心思路是绕开传统的字素到音素(grapheme-to-phoneme)显式转换流程,直接对语音进行建模。然而,这种方法在低资源语言上的效果始终受到一个根本性瓶颈的制约:可用的转写语音数据极其稀缺。正因如此,合成数据在实践中已成为扩展此类 SLM 的主要手段,在真实语料不足时提供相对可靠的语音监督信号。由 Yizhong Geng 领衔、共七位作者完成的论文《Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models》正是围绕这一现实展开研究,该论文于 2026 年 4 月 10 日提交至 arXiv,编号为 arXiv:2605.27383v1,归类于计算与语言(cs.CL)以及人工智能(cs.AI)方向。
研究团队指出了一个此前较少被系统讨论的代价。他们发现,对合成数据的依赖会引入一种根本性的权衡,并将其命名为“稳定性—表现力鸿沟”(Stability-Expressivity Gap)。具体而言,合成数据虽然能够提升音素层面的准确度,让模型发音更“稳”,但与此同时会逐步压制韵律层面的变化,使语音在语调、节奏和情感色彩上的多样性不断收窄,最终导致表现力整体崩塌。作者将这一现象称为“合成侵蚀”(Synthetic Erosion)。换言之,模型在“说得准”上越走越远,却在“说得像人、有感情”上不断退步,这一矛盾在低资源语言场景中尤为突出。
为弥合这一鸿沟,论文提出了两套自我对齐(self-alignment)框架,分别针对不同的数据条件。第一套是“解耦引导的自我对齐”(Disentanglement-Guided Self-Alignment,DGSA),它面向结构较复杂的语言,通过将韵律(prosody)与音色(timbre)进行分离来恢复表现力,从而在不牺牲发音稳定性的前提下重新引入韵律变化。第二套是“温度驱动的自我评判”(Temperature-Driven Self-Critique,TDSC),主要适用于真实参考语音极其有限的极端低资源情形,它借助自动化的探索与筛选机制来稳定生成过程,在缺乏高质量参照的情况下依然维持输出的可控性。
在实验结果方面,作者表示该方案的表现超过了包括 ElevenLabs 和 Gemini Pro 在内的多个强商业系统。更具标志性的是,该方法首次为老挝语(Lao)实现了零样本语音克隆能力,即在没有目标说话人参考录音的情况下完成音色复制。这一成果表明,通过合成数据扩展与偏好对齐相结合的方式,低资源语言的语音合成有望在保持稳定性的同时找回表现力,并为更多缺乏转写语料的语言打开零样本语音克隆的应用空间。