印度语言(Indic)的自动语音识别(ASR)在特定领域,如数字串、货币金额、地址、品牌名以及英语-印度语混合代码(code-mix)中,面临着巨大挑战。现有的开源和商业ASR系统在这些实体密集的场景下表现不佳。一项新的研究提出了一种名为“TTS-STT飞轮”的自包含方法,通过合成实体密集的音频数据,显著提升了印度语言ASR在专业领域的性能。
研究人员使用了一个开源的印度语言文本转语音(TTS)管道,合成了大约22,000条实体密集的印度-英语代码混合话语。这些合成音频涵盖了数字、货币、地址等实体,并用于训练或改进语音转文本(STT)系统。在泰卢固语(Telugu)测试集上,该测试集由合成系统保留未使用,开源最佳模型vasista22/whisper-telugu-large-v2的实体命中率(EHR)仅为0.027,而商业系统Deepgram Nova-3的EHR为0.16。通过TTS-STT飞轮方法,EHR飙升至0.98,几乎完美识别。
该方法的成功在于创建了一个自我强化的循环:TTS系统生成高质量的实体密集音频,然后用于提升STT系统,同时STT系统的改进反馈可用于优化TTS,形成飞轮效应。所有代码、保留测试集、预测结果、EDSA语料库以及实体词典均已开源发布,以促进该领域的进一步研究。
这项研究不仅解决了印度语言ASR中一个长期被忽视的领域,还展示了合成数据在克服低资源语言数据稀缺问题上的巨大潜力。它特别适用于需要高精度实体识别的应用场景,如语音支付、地址导航和客户服务。