跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

TTS-STT飞轮:合成实体密集音频弥合商业与开源系统在印度语语音识别上的差距

文章摘要

开源和商业ASR系统在数字串、货币金额、地址、品牌名等特定领域的印度语言语音识别上表现不佳。本文提出TTS-STT飞轮方法,利用开源印度语TTS管道合成约22,000条实体密集的印度语-英语混合语音,在泰卢固语测试集上实现了实体命中率0.98,远超现有系统的0.027和0.16。代码、数据集等已开源发布。

来源arXiv Computational Linguistics作者: Venkata Pushpak Teja Menta
TTS-STT飞轮:合成实体密集音频弥合商业与开源系统在印度语语音识别上的差距
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

印度语言(Indic)的自动语音识别(ASR)在特定领域,如数字串、货币金额、地址、品牌名以及英语-印度语混合代码(code-mix)中,面临着巨大挑战。现有的开源和商业ASR系统在这些实体密集的场景下表现不佳。一项新的研究提出了一种名为“TTS-STT飞轮”的自包含方法,通过合成实体密集的音频数据,显著提升了印度语言ASR在专业领域的性能。

研究人员使用了一个开源的印度语言文本转语音(TTS)管道,合成了大约22,000条实体密集的印度-英语代码混合话语。这些合成音频涵盖了数字、货币、地址等实体,并用于训练或改进语音转文本(STT)系统。在泰卢固语(Telugu)测试集上,该测试集由合成系统保留未使用,开源最佳模型vasista22/whisper-telugu-large-v2的实体命中率(EHR)仅为0.027,而商业系统Deepgram Nova-3的EHR为0.16。通过TTS-STT飞轮方法,EHR飙升至0.98,几乎完美识别。

该方法的成功在于创建了一个自我强化的循环:TTS系统生成高质量的实体密集音频,然后用于提升STT系统,同时STT系统的改进反馈可用于优化TTS,形成飞轮效应。所有代码、保留测试集、预测结果、EDSA语料库以及实体词典均已开源发布,以促进该领域的进一步研究。

这项研究不仅解决了印度语言ASR中一个长期被忽视的领域,还展示了合成数据在克服低资源语言数据稀缺问题上的巨大潜力。它特别适用于需要高精度实体识别的应用场景,如语音支付、地址导航和客户服务。

展开要点与分析

文章情报

工程师进阶

要点

  • 开源和商业ASR在印度语言特定领域实体识别上性能极低。
  • 提出TTS-STT飞轮:利用TTS合成实体密集音频来训练或提升STT。
  • 在泰卢固语测试集上,实体命中率从0.027/0.16提升至0.98。
  • 所有代码、数据集和实体词典已开源。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。