コードスイッチング音声における商用ASRシステムのベンチマーク：アラビア語、ペルシャ語、ドイツ語
本研究は、5つの商用自動音声認識（ASR）システムを、コードスイッチング音声（エジプトアラビア語-英語、サウジアラビア語（ナジディ/ヒジャーズ）-英語、ペルシャ語（ファルシ）-英語、ドイツ語-英語の4言語ペア）でベンチマークします。ElevenLabs Scribe v2は、全言語ペアで最低のWER（13.2%）と最高のBERTScore（0.936）を達成しました。アラビア語とペルシャ語では、音訳のばらつきによるペナルティを避けるため、WERよりもBERTScoreの使用が推奨されます。2段階のパイプラインにより、LLMスコアリングコストが約91%削減されます。
自動音声認識（ASR）システムは、クリーンでモノリンガルな音声では良好に動作しますが、現実世界の多言語シナリオ、特に同一発話内で2つの言語を切り替えるコードスイッチングにおいては大きな課題に直面します。最近の研究では、5つの商用ASRシステムを4つの言語ペアにおけるコードスイッチング音声で総合的にベンチマークし、現在の技術の長所と短所を明らかにしました。
この研究はSajjad Abdoliらによって行われ、arXivに論文が掲載されました。研究チームは、エジプトアラビア語-英語、サウジアラビア語（ナジディ/ヒジャーズ）-英語、ペルシャ語（ファルシ）-英語、およびドイツ語-英語の4つの言語ペアを選択し、各言語ペアに300サンプルのデータセットを構築しました。サンプル選択には2段階のパイプラインが採用されました。まず、ヒューリスティックフィルターが5つの構造的なコードスイッチング信号に基づいてトランスクリプトをスコアリングし、その後、GPT-4oとGemini 1.5 Proのアンサンブルモデルが6つの言語次元にわたって候補をスコアリングします。この方法により、大規模言語モデル（LLM）のスコアリングコストが約91%削減され、高い効率を実現しました。
評価指標には、WER（単語誤り率）とBERTScoreが使用されました。WERはASR分野の標準指標ですが、アラビア語とペルシャ語では、音訳の多様性により、意味的に正しいトランスクリプトでもスペルの違いによって誤ってペナルティを受ける可能性があります。そのため、研究者らはこれらの言語ペアにはBERTScoreの方が適していると主張しています。BERTScoreは意味的類似性を捉えることができます。
ElevenLabs Scribe v2はすべての言語ペアで最高のパフォーマンスを示し、全体のWERは13.2%、エジプトアラビア語では13.1%、BERTScoreは0.936でした。他のASRシステムには、その他の商用プロバイダーが含まれます。研究ではさらに、難易度別の分析を行い、集計平均では隠されていたシステムのパフォーマンスギャップが明らかになりました。また、BERT埋め込み投影により、表面の書き文字の違いにもかかわらず、参照トランスクリプトと仮説トランスクリプトの意味的近接性が確認されました。
このベンチマークデータセットはHugging Faceで公開されており、研究者や開発者が利用できます。この研究は、特にこれまで見過ごされてきたコードスイッチングの分野における多言語ASRシステムの評価に重要な知見を提供します。今後、このベンチマークを基にASRシステムが改善され、世界中の多言語ユーザーにより良いサービスを提供できることが期待されます。