跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

弥合稳定性与表现力差距:低资源口语语言模型的合成数据缩放与偏好对齐

文章摘要

本文揭示低资源口语语言模型(SLM)依赖合成数据时产生的稳定性-表现力差距,并提出两种自对齐框架(DGSA和TDSC)来恢复表现力,在性能上超越ElevenLabs和Gemini Pro,并首次实现老挝语的零样本语音克隆。

来源arXiv Computational Linguistics作者: Yizhong Geng, Yanliang Li, Jinghan Yang, Tianhan Jiang, Boxun An, Ya Li, Xiaoyu Shen
弥合稳定性与表现力差距:低资源口语语言模型的合成数据缩放与偏好对齐
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

口语语言模型(Spoken Language Models,SLMs)近年被视为语音合成领域一条颇具前景的新路径,其核心思路是绕开传统的字素到音素(grapheme-to-phoneme)显式转换流程,直接对语音进行建模。然而,这种方法在低资源语言上的效果始终受到一个根本性瓶颈的制约:可用的转写语音数据极其稀缺。正因如此,合成数据在实践中已成为扩展此类 SLM 的主要手段,在真实语料不足时提供相对可靠的语音监督信号。由 Yizhong Geng 领衔、共七位作者完成的论文《Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models》正是围绕这一现实展开研究,该论文于 2026 年 4 月 10 日提交至 arXiv,编号为 arXiv:2605.27383v1,归类于计算与语言(cs.CL)以及人工智能(cs.AI)方向。

研究团队指出了一个此前较少被系统讨论的代价。他们发现,对合成数据的依赖会引入一种根本性的权衡,并将其命名为“稳定性—表现力鸿沟”(Stability-Expressivity Gap)。具体而言,合成数据虽然能够提升音素层面的准确度,让模型发音更“稳”,但与此同时会逐步压制韵律层面的变化,使语音在语调、节奏和情感色彩上的多样性不断收窄,最终导致表现力整体崩塌。作者将这一现象称为“合成侵蚀”(Synthetic Erosion)。换言之,模型在“说得准”上越走越远,却在“说得像人、有感情”上不断退步,这一矛盾在低资源语言场景中尤为突出。

为弥合这一鸿沟,论文提出了两套自我对齐(self-alignment)框架,分别针对不同的数据条件。第一套是“解耦引导的自我对齐”(Disentanglement-Guided Self-Alignment,DGSA),它面向结构较复杂的语言,通过将韵律(prosody)与音色(timbre)进行分离来恢复表现力,从而在不牺牲发音稳定性的前提下重新引入韵律变化。第二套是“温度驱动的自我评判”(Temperature-Driven Self-Critique,TDSC),主要适用于真实参考语音极其有限的极端低资源情形,它借助自动化的探索与筛选机制来稳定生成过程,在缺乏高质量参照的情况下依然维持输出的可控性。

在实验结果方面,作者表示该方案的表现超过了包括 ElevenLabs 和 Gemini Pro 在内的多个强商业系统。更具标志性的是,该方法首次为老挝语(Lao)实现了零样本语音克隆能力,即在没有目标说话人参考录音的情况下完成音色复制。这一成果表明,通过合成数据扩展与偏好对齐相结合的方式,低资源语言的语音合成有望在保持稳定性的同时找回表现力,并为更多缺乏转写语料的语言打开零样本语音克隆的应用空间。

展开要点与分析

文章情报

工程师进阶

要点

  • 合成数据虽提升音素准确性,但会抑制韵律变化,导致表现力崩溃(合成侵蚀)。
  • 提出解耦引导自对齐(DGSA)和温度驱动自批评(TDSC)两种框架来弥合差距。
  • 方法在低资源语言上超越商业系统ElevenLabs和Gemini Pro。
  • 首次实现老挝语的零样本语音克隆能力。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。