基於提示的文本到語音(TTS)模型通過自然語言描述控制説話風格,但通常只能為整個語句應用單一全局風格,缺乏細粒度的調節能力,無法滿足需要在不同語句之間連續調整風格屬性或在一個語句內實現隨時間變化的風格轉換的實際應用需求。本文由Jaehoon Kang等四位作者提出,針對現有基於提示的TTS模型的侷限性,開發了兩種創新技術,分別實現了語際風格插值和語內風格轉換,且這些技術無需修改模型架構即可應用於現有模型。
對於語際風格插值,研究者在嵌入空間中計算對比風格提示之間的方向向量,通過簡單的線性插值實現不同風格特徵之間的平滑過渡。該方法能夠用於性別轉換、音高調節和語速控制等連續風格屬性的調整。實驗結果顯示,性別轉換的成功率達到了99%到100%,音高變化最高可達36赫茲,語速變化最高可達每秒1.6個音節。這些數字表明該方法在保持自然度的同時,提供了高度可控的風格變化能力。
對於語內風格轉換,研究者首先發現自迴歸TTS解碼器中存在對早期標記的強烈注意力偏差,導致初始音頻特徵主導後續生成過程,使得風格轉換變得困難。為了緩解這一問題,他們引入了KV緩存交換和滑動窗口注意力掩碼技術。KV緩存交換允許在解碼過程中替換關鍵值對,從而改變後續生成的風格,而滑動窗口注意力掩碼則限制了當前生成步驟對早期標記的注意力範圍,防止舊的音頻特徵持續影響。實驗結果表明,語內風格轉換的説話人相似度保持在0.81到0.91之間,感知平滑度評分在3.48到4.48之間(滿分5分),表明風格轉換自然且不破壞説話人一致性。
這兩項技術的提出,顯著擴展了現有提示式TTS系統的控制能力,使其能夠支持更靈活的應用場景,如虛擬助手在不同對話輪次中調整語調、有聲讀物在角色對話中切換風格等。作者強調,這些方法不需要對模型進行重新訓練或架構修改,因此易於部署和推廣。未來,研究者計劃探索將這些技術應用於更多的TTS架構,並進一步優化注意力機制以提升風格轉換的實時性能。