近日,一篇题为《SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings》的研究论文在arXiv上正式发布,提交日期为2026年5月1日。该论文由Priyam Mazumdar等五位作者共同完成,已被Interspeech会议接收。论文全文共5页,包含1张图和2张表格,相关代码和数据预计将在后续公开。
文本到语音合成(TTS)领域近年来经历了从音素表示到直接字母建模的转变。传统的音素表示虽然能够解决文本与声学之间存在的多对一映射问题,但其依赖的音素到字母(G2P)系统无法捕捉说话人特有的声学变化。此前的研究表明,在大规模数据条件下,基于字母的模型性能优于基于音素的系统,但在低资源场景下表现不佳。
针对这一难题,研究团队提出了SPARCLE模型(SPeaker-aware Aligned Representations via Contrastive Language Embeddings)。该模型是一种说话人感知的字母表示模型,其核心创新在于通过对比学习目标,将字母与对应的Wav2Vec2声学表示进行对齐,同时以说话人身份作为条件。这样,字母表示不仅包含了文本信息,还融入了说话人特有的声学特征。SPARCLE旨在作为下游TTS任务中G2P系统的直接替代方案。
实验结果显示,SPARCLE在极端低资源设置下显著提升了生成质量,与标准的字母基础模型相比,将词错误率降低了一半。这一成果为低资源语言的TTS应用提供了新的可能性,有望推动语音合成技术在更多语言和场景中的普及。
论文涉及的学科领域包括计算与语言(cs.CL)、人工智能(cs.AI)、声音(cs.SD)以及音频与语音处理(eess.AS)。感兴趣的读者可通过arXiv链接(arXiv:2607.01238)获取全文。