跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

在基于提示的文本到语音模型中实现细粒度和语内说话风格控制

文章摘要

本文提出两种新技术,使现有的基于提示的文本到语音(TTS)模型能够实现语际风格插值和语内风格转换,解决了传统模型缺乏细粒度控制和只能应用单一全局风格的问题。实验证明,语际插值在性别转换上成功率达99-100%,语内转换保持了高说话人相似度和感知平滑度。

来源arXiv Computational Linguistics作者: Jaehoon Kang, Yejin Lee, Yoonji Park, Kyuhong Shim
在基于提示的文本到语音模型中实现细粒度和语内说话风格控制
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

基于提示的文本到语音(TTS)模型通过自然语言描述控制说话风格,但通常只能为整个语句应用单一全局风格,缺乏细粒度的调节能力,无法满足需要在不同语句之间连续调整风格属性或在一个语句内实现随时间变化的风格转换的实际应用需求。本文由Jaehoon Kang等四位作者提出,针对现有基于提示的TTS模型的局限性,开发了两种创新技术,分别实现了语际风格插值和语内风格转换,且这些技术无需修改模型架构即可应用于现有模型。

对于语际风格插值,研究者在嵌入空间中计算对比风格提示之间的方向向量,通过简单的线性插值实现不同风格特征之间的平滑过渡。该方法能够用于性别转换、音高调节和语速控制等连续风格属性的调整。实验结果显示,性别转换的成功率达到了99%到100%,音高变化最高可达36赫兹,语速变化最高可达每秒1.6个音节。这些数字表明该方法在保持自然度的同时,提供了高度可控的风格变化能力。

对于语内风格转换,研究者首先发现自回归TTS解码器中存在对早期标记的强烈注意力偏差,导致初始音频特征主导后续生成过程,使得风格转换变得困难。为了缓解这一问题,他们引入了KV缓存交换和滑动窗口注意力掩码技术。KV缓存交换允许在解码过程中替换关键值对,从而改变后续生成的风格,而滑动窗口注意力掩码则限制了当前生成步骤对早期标记的注意力范围,防止旧的音频特征持续影响。实验结果表明,语内风格转换的说话人相似度保持在0.81到0.91之间,感知平滑度评分在3.48到4.48之间(满分5分),表明风格转换自然且不破坏说话人一致性。

这两项技术的提出,显著扩展了现有提示式TTS系统的控制能力,使其能够支持更灵活的应用场景,如虚拟助手在不同对话轮次中调整语调、有声读物在角色对话中切换风格等。作者强调,这些方法不需要对模型进行重新训练或架构修改,因此易于部署和推广。未来,研究者计划探索将这些技术应用于更多的TTS架构,并进一步优化注意力机制以提升风格转换的实时性能。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出基于对比提示嵌入的方向向量插值方法,实现语际平滑风格过渡。
  • 发现自回归TTS解码器对早期标记的注意力偏差,通过KV缓存交换和滑动窗口注意力掩码缓解,实现语内风格变化。
  • 实验显示语际插值在性别转换、音高和语速调节方面表现优异。
  • 语内风格转换在保持说话人相似度的同时,实现了高感知平滑度。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

在基于提示的文本到语音模型中实现细粒度和语内说话风格控制 | AI News Hub