基于梯度的语音到文本对齐方法：适用于从CTC到语音大语言模型的任意ASR模型
本研究提出一种基于梯度的通用语音到文本对齐方法，无需训练或模型修改，适用于任何可微分的自动语音识别（ASR）模型，包括CTC、transducer、注意力编码器-解码器和语音大语言模型。该方法在输入网格上进行对齐，比传统的编码器网格更精确。在16个模型上的评估表明，它能提供可用的对齐结果，尤其在流式模型上优于原生对齐，但每个令牌需要一次反向传播计算。
语音到文本对齐是自动语音识别（ASR）中的关键步骤，用于确定音频中每个单词的时间边界。不同的ASR模型在提供对齐信息方面存在差异。例如，连接主义时间分类（CTC）和转录器（transducer）模型天然具有对齐能力，而基于注意力的编码器-解码器（AED）和语音大语言模型（LLM）则不具备，通常通过注意力权重来推断单词时间。然而，这些信号都基于编码器帧网格，其时间精度受限。
为了解决这一问题，本文提出了一种通用的基于梯度的对齐方法，适用于任何可微分的ASR模型。该方法通过计算每个教师强制令牌对数概率相对于输入的梯度，将其归约为每帧的显著性，然后通过单一动态规划过程将生成的矩阵解码为词边界。这种方法无需训练、无需修改模型，也无需额外的对齐头部，能够跨所有模型家族（包括语音LLM）工作，并在输入网格上进行对齐，而不是在更粗糙的编码器网格上，从而提高了时间精度。
研究团队在来自四个模型家族的16个模型上进行了评估，分别使用了朗读语音（TIMIT）和自发语音（Buckeye）数据集，并与模型自身的原生或基于注意力的对齐进行了比较。结果表明，梯度方法为每个模型提供了可用的对齐，通常略逊于强大的原生对齐器，但在原生对齐较弱的情况下（如流式模型）表现更好。该方法的主要缺点是每个令牌需要一次反向传播计算，这带来了额外的计算成本。
总之，该梯度对齐方法为ASR模型提供了一种灵活、无需训练的替代方案，尤其适用于那些缺乏原生对齐机制或对齐质量不高的模型。尽管计算成本较高，但它在输入网格上的对齐精度和广泛适用性使其成为语音社区的一个有价值的工具。