人类语音不仅传递语言内容，还蕴含丰富的表达性，如个性、情绪或表演元素（例如安慰的语气或哼唱）。研究人员将这些形式化定义为角色扮演和歌唱。近日，来自多个机构的研究团队提出了VITA-QinYu，这是首个超越自然对话、同时支持角色扮演和歌唱生成的端到端表达性口语语言模型（SLM）。
VITA-QinYu采用混合语音-文本范式，扩展了交错文本-音频建模，并引入多码本音频标记。这一设计在保持模态清晰分离以避免干扰的同时，实现了更丰富的副语言表征。模型能够同时处理语音和文本信息，通过多码本音频标记捕捉细微的声音变化，如语调、节奏和音色，从而生成具有个性化和情感色彩的语音输出。
为了训练该模型，研究团队开发了全面的数据生成流程，合成了总计15.8K小时的自然对话、角色扮演和歌唱数据。其中，角色扮演数据涵盖了多种性格和场景，歌唱数据则包括不同风格和音域的歌曲。这些合成数据经过精心设计，以确保模型能够学习到丰富的表达模式。
在客观的角色扮演基准测试中，VITA-QinYu相比同行SLM提升了7个百分点；在歌唱的5分制MOS评分上，超过了同行模型0.13分。同时，它在对话准确性和流畅性方面也达到了最先进水平，在C3和URO基准上分别比之前的SLM高出1.38和4.98个百分点。这些结果表明，VITA-QinYu不仅能够进行自然流畅的对话，还能生动地演绎角色和演唱歌曲。
研究团队已开源代码和模型，并提供了易于使用的演示，支持流式传输和全双工交互。这意味着开发者可以实时与模型进行互动，体验其表达性能力。VITA-QinYu的提出为表达性语音生成开辟了新方向，有望在虚拟角色、语音助手、有声读物和创意娱乐等领域发挥重要作用。未来，研究人员计划进一步优化模型，以适应更多语言和场景，并探索其在人机交互中的实际应用。