勾配ベースの音声テキストアライメント手法：CTCから音声大規模言語モデルまで対応
本研究では、任意の微分可能な自動音声認識（ASR）モデルに適用可能な、勾配ベースの汎用的な音声テキストアライメント手法を提案する。トレーニングやモデル修正は不要で、CTC、トランスデューサー、アテンションエンコーダデコーダ、音声大規模言語モデルを含むすべてのモデルファミリで動作する。入力グリッド上でアライメントを行い、従来のエンコーダグリッドよりも高精度。16モデルでの評価では、特にストリーミングモデルでネイティブアライメントより優れているが、トークンごとに1回の逆伝播が必要。
音声テキストアライメントは、自動音声認識（ASR）において、音声内の各単語の時間境界を特定する重要なプロセスである。ASRモデルによって、このアライメントを直接提供するものとしないものがある。例えば、CTC（Connectionist Temporal Classification）やトランスデューサーモデルは構造的にアライメントを持っているが、アテンションベースのエンコーダデコーダ（AED）や音声大規模言語モデル（LLM）は持っておらず、通常はアテンション重みから単語のタイミングを読み取る。これらの信号はすべてエンコーダのフレームグリッド上に存在するため、時間精度に限界がある。
本研究では、任意の微分可能なASRモデルに適用可能な、勾配ベースの汎用的なアライメント手法を提案する。具体的には、各教師強制トークンの対数確率の入力に対する勾配を計算し、フレームごとの顕著性に削減し、得られた行列を単一の動的計画法パスで単語境界にデコードする。この手法はトレーニング、モデル修正、アライメントヘッドを必要とせず、音声LLMを含むすべてのモデルファミリで動作し、粗いエンコーダグリッドではなく入力グリッド上でアライメントを行うため、時間精度が向上する。
評価では、4つのモデルファミリから16のモデルを使用し、朗読音声（TIMIT）と自発音声（Buckeye）の両方で、各モデルのネイティブまたはアテンションベースのアライメントと比較した。結果として、勾配法はすべてのモデルで使用可能なアライメントを提供し、強力なネイティブアライメントにはやや劣るものの、ストリーミングモデルなどネイティブアライメントが弱い場合には優れていることがわかった。主な欠点は、トークンごとに1回の逆伝播計算が必要なことである。
この勾配ベースのアライメント手法は、ASRモデルに対して柔軟でトレーニング不要の代替手段を提供し、特にネイティブアライメントを持たない、またはその品質が低いモデルに有用である。計算コストは高いものの、入力グリッド上での精度と広範な適用性により、音声コミュニティにとって価値のあるツールとなる。