近日,一篇題為《SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings》的研究論文在arXiv上正式釋出,提交日期為2026年5月1日。該論文由Priyam Mazumdar等五位作者共同完成,已被Interspeech會議接收。論文全文共5頁,包含1張圖和2張表格,相關程式碼和資料預計將在後續公開。
文本到語音合成(TTS)領域近年來經歷了從音素表示到直接字母建模的轉變。傳統的音素表示雖然能夠解決文本與聲學之間存在的多對一對映問題,但其依賴的音素到字母(G2P)系統無法捕捉說話人特有的聲學變化。此前的研究表明,在大規模資料條件下,基於字母的模型效能優於基於音素的系統,但在低資源場景下表現不佳。
針對這一難題,研究團隊提出了SPARCLE模型(SPeaker-aware Aligned Representations via Contrastive Language Embeddings)。該模型是一種說話人感知的字母表示模型,其核心創新在於透過對比學習目標,將字母與對應的Wav2Vec2聲學表示進行對齊,同時以說話人身份作為條件。這樣,字母表示不僅包含了文本資訊,還融入了說話人特有的聲學特徵。SPARCLE旨在作為下游TTS任務中G2P系統的直接替代方案。
實驗結果顯示,SPARCLE在極端低資源設定下顯著提升了生成質量,與標準的字母基礎模型相比,將詞錯誤率降低了一半。這一成果為低資源語言的TTS應用提供了新的可能性,有望推動語音合成技術在更多語言和場景中的普及。
論文涉及的學科領域包括計算與語言(cs.CL)、人工智慧(cs.AI)、聲音(cs.SD)以及音訊與語音處理(eess.AS)。感興趣的讀者可透過arXiv連結(arXiv:2607.01238)獲取全文。