インド言語（Indic）の自動音声認識（ASR）は、数字列、通貨額、住所、ブランド名、英語とインド言語のコードミックスといった特定領域において大きな課題に直面している。既存のオープンソースおよび商用ASRシステムは、これらのエンティティ密集シナリオで性能が低い。新しい研究では、「TTS-STTフライホイール」と呼ばれる自己完結型手法を提案し、合成エンティティ密集音声データを用いて、専門領域におけるインド言語ASRの性能を大幅に向上させた。
研究者らは、オープンソースのインド言語テキスト音声合成（TTS）パイプラインを使用して、約22,000のエンティティ密集型インド・英語コードミックス発話を合成した。これらの合成音声は、数字、通貨、住所などのエンティティをカバーし、音声テキスト変換（STT）システムのトレーニングまたは改善に使用された。テルグ語テストセット（合成システムが保留）では、オープンソース最良モデルvasista22/whisper-telugu-large-v2のエンティティヒット率（EHR）はわずか0.027、商用システムDeepgram Nova-3のEHRは0.16であった。TTS-STTフライホイール手法により、EHRは0.98に急上昇し、ほぼ完全な認識を達成した。
この手法の成功は、自己強化サイクルを創り出したことにある。TTSシステムが高品質のエンティティ密集音声を生成し、それをSTTシステムの向上に使用する一方、STTの改善がTTSの最適化にフィードバックされ、フライホイール効果を生む。すべてのコード、保留テストセット、予測結果、EDSAコーパス、エンティティ辞書はオープンソースとして公開され、この分野のさらなる研究を促進している。
本研究は、インド言語ASRにおける長年無視されてきたニッチ領域に取り組むだけでなく、低リソース言語のデータ不足を克服するための合成データの大きな可能性を示している。特に、音声決済、住所案内、カスタマーサービスなど、高精度なエンティティ認識が必要なアプリケーションに適している。