印度語言(Indic)的自動語音識別(ASR)在特定領域,如數字串、貨幣金額、地址、品牌名以及英語-印度語混合程式碼(code-mix)中,面臨著巨大挑戰。現有的開源和商業ASR系統在這些實體密集的場景下表現不佳。一項新的研究提出了一種名為“TTS-STT飛輪”的自包含方法,透過合成實體密集的音訊資料,顯著提升了印度語言ASR在專業領域的效能。
研究人員使用了一個開源的印度語言文本轉語音(TTS)管道,合成了大約22,000條實體密集的印度-英語程式碼混合話語。這些合成音訊涵蓋了數字、貨幣、地址等實體,並用於訓練或改進語音轉文本(STT)系統。在泰盧固語(Telugu)測試集上,該測試集由合成系統保留未使用,開源最佳模型vasista22/whisper-telugu-large-v2的實體命中率(EHR)僅為0.027,而商業系統Deepgram Nova-3的EHR為0.16。透過TTS-STT飛輪方法,EHR飆升至0.98,幾乎完美識別。
該方法的成功在於建立了一個自我強化的迴圈:TTS系統生成高質量的實體密集音訊,然後用於提升STT系統,同時STT系統的改進反饋可用於最佳化TTS,形成飛輪效應。所有程式碼、保留測試集、預測結果、EDSA語料庫以及實體詞典均已開源釋出,以促進該領域的進一步研究。
這項研究不僅解決了印度語言ASR中一個長期被忽視的領域,還展示了合成資料在克服低資源語言資料稀缺問題上的巨大潛力。它特別適用於需要高精度實體識別的應用場景,如語音支付、地址導航和客戶服務。