GRAFT：通过嫁接参考音频实现零样本文本到语音的细粒度发音控制
GRAFT是一种针对文本到语音神经编解码语言模型的逐词发音调节机制。它通过从短语音样本中提取参考发音，结合语音转换技术，允许使用任意声音的提示来控制目标单词的发音，同时保持目标说话人的音色。在英语盲听测试中，GRAFT在难词发音上显著优于其他系统，并在五种语言的客观基准测试中将目标词音素错误率降低了22-39%。
近日，研究人员提出了一种名为GRAFT（Grafted Reference Audio for Fine-grained Pronunciation）的新型文本到语音（TTS）系统，旨在解决现有零样本TTS模型在罕见专有名词、外来词和技术术语上的发音不准确问题。该系统通过对神经编解码语言模型进行逐词发音调节，使得模型能够从简短的参考音频样本中学习特定单词的正确发音，并将其无缝融入生成的语音中。
GRAFT的核心创新在于其“嫁接”机制：首先，使用模型自身的语音标记器对参考音频样本进行编码，然后将编码信息与目标单词在提示中的位置绑定，从而在生成过程中精确控制该单词的发音。为了确保参考音频的灵活性，研究者在训练数据构建过程中引入了语音转换技术，将提示说话人的音色与目标说话人分离。这意味着，即使参考音频来自完全不同的人声，GRAFT也能确保最终输出保持目标说话人的音色和风格。
在性能评估方面，研究团队首先进行了英语盲听测试。人类评分员一致将GRAFT排在首位，认为其对困难单词的发音最接近真实的参考录音。此外，在包含五种语言（英语、中文、日语、德语和法语）的客观基准测试中，GRAFT将目标单词的音素错误率相比纯文本基线降低了22-39%，并且优于其他主流的开源零样本TTS系统，包括基于音素和基于文本的系统，同时保持了说话人相似度和自然度。
这项研究为TTS领域提供了一种新的思路，即通过参考音频的“嫁接”来实现细粒度的发音控制，有望在语音合成、语音助手、有声读物制作等多个场景中得到应用。未来，研究者可能会进一步探索如何将该方法推广到更广泛的词汇集和更多语言中。