印度語言種類繁多，方言差異顯著，且大多屬於低資源語言，這給自動語音識別（ASR）和方言識別（DID）帶來了巨大挑戰。現有方法往往分別最佳化ASR或DID，導致兩者效能無法兼顧。針對這一問題，研究人員提出了一種多模態特徵融合框架，能夠同時提升ASR和DID的效能。
該框架採用瓶頸編碼器從基於Conformer的語音表示中提取方言特徵，同時利用RoBERTa編碼器處理ASR生成的CTC嵌入。透過門控機制將這兩類特徵融合，再經注意力編碼器進一步最佳化。最終將學習到的嵌入與Conformer輸出拼接，以增強ASR特徵。這種方法能夠有效利用多模態資訊，避免單一模型最佳化帶來的效能損失。
實驗在八種印度語言的三十三個方言上進行，涵蓋多個語系和方言變體。結果顯示平均DID準確率達到81.63%，平均字元錯誤率（CER）和詞錯誤率（WER）分別為4.65%和17.73%。這些結果充分證明了該聯合建模方法的有效性，與單獨最佳化的基線相比有顯著提升。此外，論文還討論了模型的泛化能力及對不同方言的魯棒性。
這項研究由Saurabh Kumar等人在2026年7月提交至arXiv，程式碼和資料有望後續公開。該工作對低資源多方言語音識別系統具有重要參考價值，未來可應用於語音助手、語言教育等領域。