人類語音不僅傳遞語言內容，還蘊含豐富的表達性，如個性、情緒或表演元素（例如安慰的語氣或哼唱）。研究人員將這些形式化定義為角色扮演和歌唱。近日，來自多個機構的研究團隊提出了VITA-QinYu，這是首個超越自然對話、同時支援角色扮演和歌唱生成的端到端表達性口語語言模型（SLM）。
VITA-QinYu採用混合語音-文本正規化，擴充套件了交錯文本-音訊建模，並引入多碼本音訊標記。這一設計在保持模態清晰分離以避免干擾的同時，實現了更豐富的副語言表徵。模型能夠同時處理語音和文本資訊，透過多碼本音訊標記捕捉細微的聲音變化，如語調、節奏和音色，從而生成具有個性化和情感色彩的語音輸出。
為了訓練該模型，研究團隊開發了全面的資料生成流程，合成了總計15.8K小時的自然對話、角色扮演和歌唱資料。其中，角色扮演資料涵蓋了多種性格和場景，歌唱資料則包括不同風格和音域的歌曲。這些合成資料經過精心設計，以確保模型能夠學習到豐富的表達模式。
在客觀的角色扮演基準測試中，VITA-QinYu相比同行SLM提升了7個百分點；在歌唱的5分制MOS評分上，超過了同行模型0.13分。同時，它在對話準確性和流暢性方面也達到了最先進水平，在C3和URO基準上分別比之前的SLM高出1.38和4.98個百分點。這些結果表明，VITA-QinYu不僅能夠進行自然流暢的對話，還能生動地演繹角色和演唱歌曲。
研究團隊已開原始碼和模型，並提供了易於使用的演示，支援流式傳輸和全雙工互動。這意味著開發者可以即時與模型進行互動，體驗其表達效能力。VITA-QinYu的提出為表達性語音生成開闢了新方向，有望在虛擬角色、語音助手、有聲讀物和創意娛樂等領域發揮重要作用。未來，研究人員計劃進一步最佳化模型，以適應更多語言和場景，並探索其在人機互動中的實際應用。