基於梯度的語音到文本對齊方法：適用於從CTC到語音大語言模型的任意ASR模型
本研究提出一種基於梯度的通用語音到文本對齊方法，無需訓練或模型修改，適用於任何可微分的自動語音識別（ASR）模型，包括CTC、transducer、注意力編碼器-解碼器和語音大語言模型。該方法在輸入網格上進行對齊，比傳統的編碼器網格更精確。在16個模型上的評估表明，它能提供可用的對齊結果，尤其在流式模型上優於原生對齊，但每個令牌需要一次反向傳播計算。
語音到文本對齊是自動語音識別（ASR）中的關鍵步驟，用於確定音頻中每個單詞的時間邊界。不同的ASR模型在提供對齊信息方面存在差異。例如，連接主義時間分類（CTC）和轉錄器（transducer）模型天然具有對齊能力，而基於注意力的編碼器-解碼器（AED）和語音大語言模型（LLM）則不具備，通常通過注意力權重來推斷單詞時間。然而，這些信號都基於編碼器幀網格，其時間精度受限。
為了解決這一問題，本文提出了一種通用的基於梯度的對齊方法，適用於任何可微分的ASR模型。該方法通過計算每個教師強制令牌對數概率相對於輸入的梯度，將其歸約為每幀的顯著性，然後通過單一動態規劃過程將生成的矩陣解碼為詞邊界。這種方法無需訓練、無需修改模型，也無需額外的對齊頭部，能夠跨所有模型家族（包括語音LLM）工作，並在輸入網格上進行對齊，而不是在更粗糙的編碼器網格上，從而提高了時間精度。
研究團隊在來自四個模型家族的16個模型上進行了評估，分別使用了朗讀語音（TIMIT）和自發語音（Buckeye）數據集，並與模型自身的原生或基於注意力的對齊進行了比較。結果表明，梯度方法為每個模型提供了可用的對齊，通常略遜於強大的原生對齊器，但在原生對齊較弱的情況下（如流式模型）表現更好。該方法的主要缺點是每個令牌需要一次反向傳播計算，這帶來了額外的計算成本。
總之，該梯度對齊方法為ASR模型提供了一種靈活、無需訓練的替代方案，尤其適用於那些缺乏原生對齊機制或對齊質量不高的模型。儘管計算成本較高，但它在輸入網格上的對齊精度和廣泛適用性使其成為語音社區的一個有價值的工具。