現代のエンドツーエンド音声認識における言語モデルのパープレキシティと単語誤り率の関係の再検討
本研究では、言語モデルのパープレキシティと自動音声認識の単語誤り率との間の従来の線形関係を再評価する。現代のエンドツーエンドASRシステムは内部言語モデリング能力を備えており、この仮定に挑戦する。論文では、外部LMが現在のシステムを依然として改善するかどうか、対数空間でのPPL-WER関係の線形性、エンコーダコンテキスト長の影響、およびLLMパープレキシティが標準的なニューラルLMとどのように適合するかを調査する。さらに、注意機構ベースのエンコーダ-デコーダシステムにおける内部言語モデリングを調査し、ILM減算が観測される関係を変化させることを示し、外部LM品質を解釈する際にデコーダの内部LMを考慮する重要性を強調する。
SLT 2026に提出された新しい研究により、言語モデルのパープレキシティ（PPL）と自動音声認識（ASR）の単語誤り率（WER）との間の従来の関係が再検討された。これまでPPLはWERの代理指標として広く使われ、先行研究では対数空間でほぼ線形の関係が報告されていた。しかし、現代のエンドツーエンドASRシステムは内部に強力な言語モデリング能力を内蔵しており、外部言語モデルなしで評価されることが多く、またニューラル言語モデルや大規模言語モデルと異なる認識戦略で組み合わせることができるようになった。これらの変化により、従来の仮定は挑戦を受けている。
Mohammad Zeineldeenら6名の著者からなる研究チームは、4つの重要な質問に焦点を当てた：外部LMは現在のエンドツーエンドASRシステムを依然として改善するか？PPL-WER関係は対数空間で線形を維持するか？エンコーダコンテキスト長はこの関係にどのように影響するか？LLMのパープレキシティは標準的なニューラルLMの傾向に適合するか？実験の結果、外部LMの改善効果はシステムの内部LM能力によって調整されること、線形関係は多くの設定で成立しないこと、エンコーダコンテキスト長が長くなるとPPLとWERの関連が弱まることが明らかになった。また、LLMのパープレキシティ傾向は標準ニューラルLMと概ね一致した。
さらに、本研究は注意機構ベースのエンコーダ-デコーダシステムにおける内部言語モデリング（ILM）を深く調査した。ILM減算を行うと観測されるPPL-WER関係が有意に変化することが示され、外部LMの品質を解釈する際にはデコーダの内部LMを考慮しなければならないことが明らかになった。この発見は、ASRシステムの評価とモデル選択に重要な示唆を与える：単にPPLでWERを予測することはもはや信頼できず、より包括的な評価フレームワークが必要である。エンドツーエンド技術の進化に伴い、従来の指標を再調整することが不可欠である。