重新审视使用专用模型的ASR错误纠正
本文提出使用紧凑的seq2seq模型进行ASR错误纠正,通过级联TTS和ASR生成合成语料库进行训练,并采用纠正优先解码方法。与大型语言模型(LLM)相比,该模型参数减少15倍,在LibriSpeech测试集上词错误率更低,且能泛化到不同ASR架构和领域。
自动语音识别(ASR)系统中,语言模型对于提升识别准确率至关重要,但传统方法多采用纯文本语言模型,无法有效捕捉ASR特有的错误模式。近年来,大语言模型(LLM)被引入ASR错误纠正,然而LLM推理延迟高且容易产生幻觉,在实际部署中面临挑战。苹果与谷歌的研究团队联合提出了一种基于紧凑序列到序列(seq2seq)模型的ASR错误纠正方案,旨在克服LLM的局限性。
该研究的核心创新在于三个方面:合成训练数据生成、纠正优先解码策略以及模型轻量化。为了获得大规模的训练数据,研究者设计了级联文本到语音(TTS)和ASR系统的流水线,自动生成海量的“错误音频-正确文本”配对数据。他们发现,合成数据中错误分布的多样性是影响模型泛化能力的关键因素,因此通过多种TTS和ASR系统的组合来模拟真实世界中的多样错误模式。在推理阶段,传统方法通常先由ASR系统生成初始转录,再由纠错模型进行后处理。而本文提出的“纠正优先解码”则让seq2seq纠错模型直接生成候选纠正结果,然后利用ASR系统的声学得分对候选结果进行重排序,从而选择最可靠的最终输出。
实验结果表明,尽管该seq2seq模型的参数量仅为LLM的十五分之一,但在LibriSpeech测试集的clean和other两个子集上,分别取得了1.5%和3.3%的词错误率(WER),显著优于基于LLM的方法。此外,该模型展现出良好的跨架构泛化能力,能够适用于CTC、Seq2seq、Transducer等不同的ASR主干网络,并在多个领域(如医学、法律等)的测试中保持优势。尤其值得注意的是,在低错误率场景下,LLM往往难以做出精确的局部修正,而本文的紧凑模型却能精准纠错,更具实用性。
这项研究为ASR错误纠正提供了一条高效、低延迟的技术路线,特别适合对实时性要求高、计算资源受限的应用场景。未来,该模型有望集成到移动设备或边缘计算环境中,推动语音交互技术的普及。