跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

在基於提示的文本到語音模型中實現細粒度和語內説話風格控制

文章摘要

本文提出兩種新技術,使現有的基於提示的文本到語音(TTS)模型能夠實現語際風格插值和語內風格轉換,解決了傳統模型缺乏細粒度控制和只能應用單一全局風格的問題。實驗證明,語際插值在性別轉換上成功率達99-100%,語內轉換保持了高説話人相似度和感知平滑度。

來源arXiv Computational Linguistics作者: Jaehoon Kang, Yejin Lee, Yoonji Park, Kyuhong Shim
在基於提示的文本到語音模型中實現細粒度和語內説話風格控制
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

基於提示的文本到語音(TTS)模型通過自然語言描述控制説話風格,但通常只能為整個語句應用單一全局風格,缺乏細粒度的調節能力,無法滿足需要在不同語句之間連續調整風格屬性或在一個語句內實現隨時間變化的風格轉換的實際應用需求。本文由Jaehoon Kang等四位作者提出,針對現有基於提示的TTS模型的侷限性,開發了兩種創新技術,分別實現了語際風格插值和語內風格轉換,且這些技術無需修改模型架構即可應用於現有模型。

對於語際風格插值,研究者在嵌入空間中計算對比風格提示之間的方向向量,通過簡單的線性插值實現不同風格特徵之間的平滑過渡。該方法能夠用於性別轉換、音高調節和語速控制等連續風格屬性的調整。實驗結果顯示,性別轉換的成功率達到了99%到100%,音高變化最高可達36赫茲,語速變化最高可達每秒1.6個音節。這些數字表明該方法在保持自然度的同時,提供了高度可控的風格變化能力。

對於語內風格轉換,研究者首先發現自迴歸TTS解碼器中存在對早期標記的強烈注意力偏差,導致初始音頻特徵主導後續生成過程,使得風格轉換變得困難。為了緩解這一問題,他們引入了KV緩存交換和滑動窗口注意力掩碼技術。KV緩存交換允許在解碼過程中替換關鍵值對,從而改變後續生成的風格,而滑動窗口注意力掩碼則限制了當前生成步驟對早期標記的注意力範圍,防止舊的音頻特徵持續影響。實驗結果表明,語內風格轉換的説話人相似度保持在0.81到0.91之間,感知平滑度評分在3.48到4.48之間(滿分5分),表明風格轉換自然且不破壞説話人一致性。

這兩項技術的提出,顯著擴展了現有提示式TTS系統的控制能力,使其能夠支持更靈活的應用場景,如虛擬助手在不同對話輪次中調整語調、有聲讀物在角色對話中切換風格等。作者強調,這些方法不需要對模型進行重新訓練或架構修改,因此易於部署和推廣。未來,研究者計劃探索將這些技術應用於更多的TTS架構,並進一步優化注意力機制以提升風格轉換的實時性能。

展開要點與分析

文章情報

工程師進階

要點

  • 提出基於對比提示嵌入的方向向量插值方法,實現語際平滑風格過渡。
  • 發現自迴歸TTS解碼器對早期標記的注意力偏差,通過KV緩存交換和滑動窗口注意力掩碼緩解,實現語內風格變化。
  • 實驗顯示語際插值在性別轉換、音高和語速調節方面表現優異。
  • 語內風格轉換在保持説話人相似度的同時,實現了高感知平滑度。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。