跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

SPARCLE: 通过对比语言嵌入实现说话人感知的对齐表示

文章摘要

本文提出SPARCLE,一种说话人感知的字母表示模型,通过对比学习将字母与对应的Wav2Vec2声学表示对齐,同时考虑说话人身份。该模型可在低资源场景下替代传统的音素到文本(G2P)系统,将词错误率降低一半。

来源arXiv Computational Linguistics作者: Priyam Mazumdar, Yurii Halychanskyi, Steven Guo, Mark Hasegawa-Johnson, Volodymyr Kindratenko
SPARCLE: 通过对比语言嵌入实现说话人感知的对齐表示
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近日,一篇题为《SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings》的研究论文在arXiv上正式发布,提交日期为2026年5月1日。该论文由Priyam Mazumdar等五位作者共同完成,已被Interspeech会议接收。论文全文共5页,包含1张图和2张表格,相关代码和数据预计将在后续公开。

文本到语音合成(TTS)领域近年来经历了从音素表示到直接字母建模的转变。传统的音素表示虽然能够解决文本与声学之间存在的多对一映射问题,但其依赖的音素到字母(G2P)系统无法捕捉说话人特有的声学变化。此前的研究表明,在大规模数据条件下,基于字母的模型性能优于基于音素的系统,但在低资源场景下表现不佳。

针对这一难题,研究团队提出了SPARCLE模型(SPeaker-aware Aligned Representations via Contrastive Language Embeddings)。该模型是一种说话人感知的字母表示模型,其核心创新在于通过对比学习目标,将字母与对应的Wav2Vec2声学表示进行对齐,同时以说话人身份作为条件。这样,字母表示不仅包含了文本信息,还融入了说话人特有的声学特征。SPARCLE旨在作为下游TTS任务中G2P系统的直接替代方案。

实验结果显示,SPARCLE在极端低资源设置下显著提升了生成质量,与标准的字母基础模型相比,将词错误率降低了一半。这一成果为低资源语言的TTS应用提供了新的可能性,有望推动语音合成技术在更多语言和场景中的普及。

论文涉及的学科领域包括计算与语言(cs.CL)、人工智能(cs.AI)、声音(cs.SD)以及音频与语音处理(eess.AS)。感兴趣的读者可通过arXiv链接(arXiv:2607.01238)获取全文。

展开要点与分析

文章情报

工程师进阶

要点

  • SPARCLE利用对比学习对齐字母和声学表示,并融入说话人身份
  • 在极端低资源设置下,将词错误率降低一半
  • 可作为G2P系统的替代方案用于文本到语音合成

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。