重新审视现代端到端语音识别中语言模型困惑度与词错误率的关系
本研究重新评估了语言模型困惑度与自动语音识别词错误率之间的传统线性关系，发现现代端到端ASR系统由于内置语言建模能力，这一关系不再成立。论文探讨了外部语言模型对当前系统的改进效果、困惑度与WER在对数空间中的线性假设、编码器上下文长度的影响，以及大型语言模型困惑度与标准神经语言模型趋势的一致性。此外，通过分析注意力编码器-解码器系统中的内部语言建模，发现ILM减法会改变观测到的关系，强调了解码器内部语言模型在评估外部语言模型质量时的重要性。
一项来自SLT 2026会议的新研究重新审视了语言模型困惑度（PPL）与自动语音识别（ASR）词错误率（WER）之间的传统关系。过去，PPL被广泛用作WER的代理指标，先前工作报告了两者在对数空间中近似线性相关。然而，现代端到端ASR系统内置了强大的语言建模能力，往往在无外部语言模型下评估，并能通过不同识别策略与神经语言模型（LM）和大型语言模型（LLM）结合，这些变化动摇了传统假设的基础。
研究团队由Mohammad Zeineldeen等六位作者组成，他们围绕四个核心问题展开实验：外部LM是否仍能改进当前端到端ASR系统？PPL-WER关系在对数空间中是否保持线性？编码器上下文长度如何影响这一关系？LLM的困惑度是否遵循标准神经LM的观察趋势？通过系统分析，作者发现外部LM的贡献受系统内部LM能力的调节，且线性关系在多种设定下不再严格成立。编码器上下文长度的增加会减弱PPL与WER的关联，而LLM的困惑度趋势与标准神经LM基本一致。
更深入地，该论文探究了注意力编码器-解码器系统中的内部语言建模（ILM）。实验表明，在进行ILM减法后，PPL-WER的关系发生显著变化，这直接说明解码器内部的LM必须被纳入考虑，否则外部LM质量的效应会被误导。这一发现对ASR系统的评估与模型选型具有重要启示：简单依赖PPL来预测WER已不可靠，研究者需要更全面的评估框架。随着端到端技术持续演进，重新校准传统指标势在必行。