標準WERがインド言語で機能しない理由

インド言語音声認識評価の課題

標準的な単語誤り率（WER）と文字誤り率（CER）は、インド言語の自動音声認識（ASR）システムを評価する際に根本的な欠陥を抱えています。これらの指標は英語向けに設計されており、各単語に固定された綴り、言語の混在なし、フォーマルと口語の差が小さいことを前提としています。しかし、ヒンディー語、タミル語、マラヤーラム語などのインド言語は、口語変種、コードミキシング、複数の表記形態を持つため、WER/CERは正しい転写を誤りと判定します。

例えば、タミル語の口語表現「அவுங்க ஒண்ணா வேலை செய்றாங்க」は正式な「அவர்கள் ஒன்றாக வேலை செய்கிறார்கள்」と同じ意味ですが、WERは80%の誤りと評価します。同様に、ヒンディー語の英単語「doctor」はラテン文字またはデーヴァナーガリーで表記可能ですが、いずれも誤りとカウントされます。マラヤーラム語などの膠着語では、接尾辞の微小な変化が文字レベルの編集距離を大幅に増加させ、高いCERを生み出します。

階層的評価フレームワーク

これらの限界を克服するため、記事では大規模言語モデル（LLM）に基づく階層的評価手法を提案しています：

1. LLM-WER/LLM-CER：LLMが転写の意味的または音声的等価性を判断し、表面的な差異で減点しない。
2. 意図スコア：二値指標（0または1）で、発話の核となる意味が保持されているかを判定。
3. エンティティ保存スコア：0から1の小数で、固有表現（人名、地名、数字、日付）が正しく出現する割合を測定。
4. COMET：ニューラルネットワークベースの翻訳品質評価で、BLEUよりも優れている。

これらの指標は従来のWER/CERと組み合わせて使用され、より包括的な評価を提供します。記事では、逐語出力モードでは標準WERが依然として有効である一方、他のモードではLLM指標が実際の性能をより反映すると指摘しています。

Saaras V3の例

記事ではSarvam社のSaaras V3 APIを例に挙げています。このAPIは22のインド言語をサポートし、5つの出力モード（転写、翻訳、逐語出力、ラテン文字転写、コード混合出力）を提供します。各モードに対応する評価指標が異なり、例えば転写モードではLLM-WER/LLM-CER、翻訳モードでは意図スコアとエンティティスコア、コード混合モードではLLM-WERとエンティティスコアが使用されます。APIはREST、バッチ、WebSocketの3つの配信方法を提供し、様々なユースケースに対応します。

六つの失敗シナリオ

記事では標準指標が失敗する六つの状況を詳細に説明しています：口語変種、コードミキシング、短助詞のペナルティ、膠着語の接尾辞置換、音訳の違い、数字形式の変化。それぞれ具体例を用いて示し、LLM指標がどのように誤判定を修正するかを解説しています。例えば、ヒンディー語の助詞「नहीं」がエコー重复によりWERが300%になる一方、意味は完全に正しいケースなどが挙げられています。

オープンソースフレームワーク

記事ではまた、2つのオープンソース評価フレームワークllm_werとllm_intent_entityを紹介しており、既存のパイプラインに統合して任意のインド言語ASRシステムを評価できます。著者らは、この階層的フレームワークが最終的な答えではなく、単一指標よりも実際の要件に近いものであり、ツールはすでに本番で使用可能であると述べています。要約すると、インド言語のASR評価には多層的な指標が必要であり、単一の指標による偏りを避けることで、システムの実際の性能をより正確に把握できます。