基于提示的文本到语音(TTS)模型通过自然语言描述控制说话风格,但通常只能为整个语句应用单一全局风格,缺乏细粒度的调节能力,无法满足需要在不同语句之间连续调整风格属性或在一个语句内实现随时间变化的风格转换的实际应用需求。本文由Jaehoon Kang等四位作者提出,针对现有基于提示的TTS模型的局限性,开发了两种创新技术,分别实现了语际风格插值和语内风格转换,且这些技术无需修改模型架构即可应用于现有模型。
对于语际风格插值,研究者在嵌入空间中计算对比风格提示之间的方向向量,通过简单的线性插值实现不同风格特征之间的平滑过渡。该方法能够用于性别转换、音高调节和语速控制等连续风格属性的调整。实验结果显示,性别转换的成功率达到了99%到100%,音高变化最高可达36赫兹,语速变化最高可达每秒1.6个音节。这些数字表明该方法在保持自然度的同时,提供了高度可控的风格变化能力。
对于语内风格转换,研究者首先发现自回归TTS解码器中存在对早期标记的强烈注意力偏差,导致初始音频特征主导后续生成过程,使得风格转换变得困难。为了缓解这一问题,他们引入了KV缓存交换和滑动窗口注意力掩码技术。KV缓存交换允许在解码过程中替换关键值对,从而改变后续生成的风格,而滑动窗口注意力掩码则限制了当前生成步骤对早期标记的注意力范围,防止旧的音频特征持续影响。实验结果表明,语内风格转换的说话人相似度保持在0.81到0.91之间,感知平滑度评分在3.48到4.48之间(满分5分),表明风格转换自然且不破坏说话人一致性。
这两项技术的提出,显著扩展了现有提示式TTS系统的控制能力,使其能够支持更灵活的应用场景,如虚拟助手在不同对话轮次中调整语调、有声读物在角色对话中切换风格等。作者强调,这些方法不需要对模型进行重新训练或架构修改,因此易于部署和推广。未来,研究者计划探索将这些技术应用于更多的TTS架构,并进一步优化注意力机制以提升风格转换的实时性能。