跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

GRAFT:为零样本文本转语音提供细粒度发音的嫁接参考音频

文章摘要

GRAFT 提出一种逐词发音条件机制,利用短语音样本控制目标词的发音,在盲听测试中排名第一,并将目标词音素错误率降低 22-39%。

来源arXiv Machine Learning作者: Antonis Asonitis, Francesco Verdini, Aref Farhadipour, Vijeta Avijeet, Pierre-Edouard Honnet, Marzieh Razavi, Juan Pablo Zuluaga Gomez
GRAFT:为零样本文本转语音提供细粒度发音的嫁接参考音频
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

GRAFT 是一种面向文本转语音神经编解码语言建模的逐词发音条件控制机制,由 Antonis Asonitis 等七位作者完成,论文于 2026 年 7 月 2 日提交至 arXiv,编号 arXiv:2607.02633,归入机器学习(cs.LG)与计算与语言(cs.CL)两个分类。

现有零样本文本转语音系统虽然已经能实现较高的可懂度和自然度,但它们继承了文本本身的歧义性,因而会读错生僻专有名词、外来词和技术术语。即便是以音素为条件的模型,也无法为单个词的发音提供直接的声学控制手段。GRAFT 正是针对这一痛点提出的解决方案:它允许系统依据一段很短的该词朗读样本,精确控制选定词的读法。这段样本由模型自带的语音分词器编码,并被绑定到提示中该词对应的位置,从而实现细粒度的发音调节。

在训练数据构建阶段,研究团队引入了声音转换技术,用以将提供发音提示的说话人与目标说话人解耦。这一设计带来的实际好处是:提示音频可以来自任意音色的说话人,而合成输出仍然保持目标说话人的音色。换言之,用户不必找到与目标音色相同的参考录音,也能为某个难词指定正确读法。

在盲测英语听辨实验中,人类评分者以明显优势将 GRAFT 排在首位,认为它对难词的发音最接近该词的参考录音。在覆盖五种语言的客观基准评测中,与完全相同的纯文本骨干模型相比,GRAFT 将目标词的音素错误率降低了 22% 至 39%;在目标词发音方面,它也优于多个有竞争力的开源零样本系统,无论这些系统是以音素为条件还是以文本为条件,同时还能保持说话人相似度与自然度。

论文全文可通过 arXiv 获取,提供 PDF、实验性 HTML 版本以及 TeX 源码,DOI 为 10.48550/arXiv.2607.02633,由 DataCite 发放。该版本 v1 于 2026 年 7 月 2 日 14:40:21 UTC 提交,文件大小约 367 KB。

展开要点与分析

文章情报

工程师进阶

要点

  • GRAFT 通过短语音样本为每个词提供直接的声学发音线索,而非依赖文本或音素。
  • 训练数据构造中使用声音转换,将提示说话人与目标说话人解耦,输出保持目标音色。
  • 在五种语言客观基准上,目标词音素错误率比纯文本骨干降低 22-39%,并优于竞品零样本系统。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。