重新審視現代端到端語音識別中語言模型困惑度與詞錯誤率的關係
本研究重新評估了語言模型困惑度與自動語音識別詞錯誤率之間的傳統線性關係，發現現代端到端ASR系統由於內建語言建模能力，這一關係不再成立。論文探討了外部語言模型對當前系統的改進效果、困惑度與WER在對數空間中的線性假設、編碼器上下文長度的影響，以及大型語言模型困惑度與標準神經語言模型趨勢的一致性。此外，透過分析注意力編碼器-解碼器系統中的內部語言建模，發現ILM減法會改變觀測到的關係，強調了解碼器內部語言模型在評估外部語言模型質量時的重要性。
一項來自SLT 2026會議的新研究重新審視了語言模型困惑度（PPL）與自動語音識別（ASR）詞錯誤率（WER）之間的傳統關係。過去，PPL被廣泛用作WER的代理指標，先前工作報告了兩者在對數空間中近似線性相關。然而，現代端到端ASR系統內建了強大的語言建模能力，往往在無外部語言模型下評估，並能透過不同識別策略與神經語言模型（LM）和大型語言模型（LLM）結合，這些變化動搖了傳統假設的基礎。
研究團隊由Mohammad Zeineldeen等六位作者組成，他們圍繞四個核心問題展開實驗：外部LM是否仍能改進當前端到端ASR系統？PPL-WER關係在對數空間中是否保持線性？編碼器上下文長度如何影響這一關係？LLM的困惑度是否遵循標準神經LM的觀察趨勢？透過系統分析，作者發現外部LM的貢獻受系統內部LM能力的調節，且線性關係在多種設定下不再嚴格成立。編碼器上下文長度的增加會減弱PPL與WER的關聯，而LLM的困惑度趨勢與標準神經LM基本一致。
更深入地，該論文探究了注意力編碼器-解碼器系統中的內部語言建模（ILM）。實驗表明，在進行ILM減法後，PPL-WER的關係發生顯著變化，這直接說明解碼器內部的LM必須被納入考慮，否則外部LM質量的效應會被誤導。這一發現對ASR系統的評估與模型選型具有重要啟示：簡單依賴PPL來預測WER已不可靠，研究者需要更全面的評估框架。隨著端到端技術持續演進，重新校準傳統指標勢在必行。