跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

SPARCLE: 透過對比語言嵌入實現說話人感知的對齊表示

文章摘要

本文提出SPARCLE,一種說話人感知的字母表示模型,透過對比學習將字母與對應的Wav2Vec2聲學表示對齊,同時考慮說話人身份。該模型可在低資源場景下替代傳統的音素到文本(G2P)系統,將詞錯誤率降低一半。

來源arXiv Computational Linguistics作者: Priyam Mazumdar, Yurii Halychanskyi, Steven Guo, Mark Hasegawa-Johnson, Volodymyr Kindratenko
SPARCLE: 透過對比語言嵌入實現說話人感知的對齊表示
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,一篇題為《SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings》的研究論文在arXiv上正式釋出,提交日期為2026年5月1日。該論文由Priyam Mazumdar等五位作者共同完成,已被Interspeech會議接收。論文全文共5頁,包含1張圖和2張表格,相關程式碼和資料預計將在後續公開。

文本到語音合成(TTS)領域近年來經歷了從音素表示到直接字母建模的轉變。傳統的音素表示雖然能夠解決文本與聲學之間存在的多對一對映問題,但其依賴的音素到字母(G2P)系統無法捕捉說話人特有的聲學變化。此前的研究表明,在大規模資料條件下,基於字母的模型效能優於基於音素的系統,但在低資源場景下表現不佳。

針對這一難題,研究團隊提出了SPARCLE模型(SPeaker-aware Aligned Representations via Contrastive Language Embeddings)。該模型是一種說話人感知的字母表示模型,其核心創新在於透過對比學習目標,將字母與對應的Wav2Vec2聲學表示進行對齊,同時以說話人身份作為條件。這樣,字母表示不僅包含了文本資訊,還融入了說話人特有的聲學特徵。SPARCLE旨在作為下游TTS任務中G2P系統的直接替代方案。

實驗結果顯示,SPARCLE在極端低資源設定下顯著提升了生成質量,與標準的字母基礎模型相比,將詞錯誤率降低了一半。這一成果為低資源語言的TTS應用提供了新的可能性,有望推動語音合成技術在更多語言和場景中的普及。

論文涉及的學科領域包括計算與語言(cs.CL)、人工智慧(cs.AI)、聲音(cs.SD)以及音訊與語音處理(eess.AS)。感興趣的讀者可透過arXiv連結(arXiv:2607.01238)獲取全文。

展開要點與分析

文章情報

工程師進階

要點

  • SPARCLE利用對比學習對齊字母和聲學表示,並融入說話人身份
  • 在極端低資源設定下,將詞錯誤率降低一半
  • 可作為G2P系統的替代方案用於文本到語音合成

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。