インドの言語は多様で方言差が大きく、多くの言語は低リソースであり、自動音声認識（ASR）と方言識別（DID）に大きな課題があります。既存の手法はASRまたはDIDを個別に最適化することが多く、性能のトレードオフが生じていました。本研究では、マルチモーダル特徴融合フレームワークを提案し、ASRとDIDを同時に改善します。
提案手法では、ボトルネックエンコーダを用いてConformerベースの音声表現から方言特徴を抽出し、RoBERTaエンコーダでASR生成のCTC埋め込みを処理します。ゲーティング機構でこれらの特徴を統合し、アテンションエンコーダで表現を洗練します。学習された埋め込みをConformer出力と結合してASR特徴を強化します。このアプローチにより、マルチモーダル情報を有効活用し、単一モデル最適化による性能損失を回避できます。
評価は8つのインド言語、33の方言にわたって行われ、複数の語族や方言変種をカバーしています。結果として、平均DID精度81.63%、平均文字誤り率（CER）4.65%、単語誤り率（WER）17.73%を達成しました。これらの結果は、個別最適化のベースラインと比較して有意な改善を示し、共同モデリングの有効性を証明しています。また、論文ではモデルの汎化能力や異なる方言に対するロバスト性についても議論されています。
本研究はSaurabh Kumarらにより2026年7月にarXivに提出され、コードやデータは将来公開される予定です。この研究は低リソース多方言音声認識システムに重要な知見を提供し、今後の音声アシスタントや言語教育などの分野での応用が期待されます。