跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

TTS-STT飛輪:合成實體密集音頻彌合商業與開源系統在印度語語音識別上的差距

文章摘要

開源和商業ASR系統在數字串、貨幣金額、地址、品牌名等特定領域的印度語言語音識別上表現不佳。本文提出TTS-STT飛輪方法,利用開源印度語TTS管道合成約22,000條實體密集的印度語-英語混合語音,在泰盧固語測試集上實現了實體命中率0.98,遠超現有系統的0.027和0.16。代碼、數據集等已開源發佈。

來源arXiv Computational Linguistics作者: Venkata Pushpak Teja Menta
TTS-STT飛輪:合成實體密集音頻彌合商業與開源系統在印度語語音識別上的差距
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

印度語言(Indic)的自動語音識別(ASR)在特定領域,如數字串、貨幣金額、地址、品牌名以及英語-印度語混合代碼(code-mix)中,面臨着巨大挑戰。現有的開源和商業ASR系統在這些實體密集的場景下表現不佳。一項新的研究提出了一種名為“TTS-STT飛輪”的自包含方法,通過合成實體密集的音頻數據,顯著提升了印度語言ASR在專業領域的性能。

研究人員使用了一個開源的印度語言文本轉語音(TTS)管道,合成了大約22,000條實體密集的印度-英語代碼混合話語。這些合成音頻涵蓋了數字、貨幣、地址等實體,並用於訓練或改進語音轉文本(STT)系統。在泰盧固語(Telugu)測試集上,該測試集由合成系統保留未使用,開源最佳模型vasista22/whisper-telugu-large-v2的實體命中率(EHR)僅為0.027,而商業系統Deepgram Nova-3的EHR為0.16。通過TTS-STT飛輪方法,EHR飆升至0.98,幾乎完美識別。

該方法的成功在於創建了一個自我強化的循環:TTS系統生成高質量的實體密集音頻,然後用於提升STT系統,同時STT系統的改進反饋可用於優化TTS,形成飛輪效應。所有代碼、保留測試集、預測結果、EDSA語料庫以及實體詞典均已開源發佈,以促進該領域的進一步研究。

這項研究不僅解決了印度語言ASR中一個長期被忽視的領域,還展示了合成數據在克服低資源語言數據稀缺問題上的巨大潛力。它特別適用於需要高精度實體識別的應用場景,如語音支付、地址導航和客户服務。

展開要點與分析

文章情報

工程師進階

要點

  • 開源和商業ASR在印度語言特定領域實體識別上性能極低。
  • 提出TTS-STT飛輪:利用TTS合成實體密集音頻來訓練或提升STT。
  • 在泰盧固語測試集上,實體命中率從0.027/0.16提升至0.98。
  • 所有代碼、數據集和實體詞典已開源。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。