使用多模态特征融合联合改进印度语言的方言识别和语音识别
提出一种多模态框架，同时提高自动语音识别（ASR）和方言识别（DID）性能。在八种印度语言的33个方言上，DID准确率达81.63%，词错误率17.73%。
印度语言种类繁多，方言差异显著，且大多属于低资源语言，这给自动语音识别（ASR）和方言识别（DID）带来了巨大挑战。现有方法往往分别优化ASR或DID，导致两者性能无法兼顾。针对这一问题，研究人员提出了一种多模态特征融合框架，能够同时提升ASR和DID的性能。
该框架采用瓶颈编码器从基于Conformer的语音表示中提取方言特征，同时利用RoBERTa编码器处理ASR生成的CTC嵌入。通过门控机制将这两类特征融合，再经注意力编码器进一步优化。最终将学习到的嵌入与Conformer输出拼接，以增强ASR特征。这种方法能够有效利用多模态信息，避免单一模型优化带来的性能损失。
实验在八种印度语言的三十三个方言上进行，涵盖多个语系和方言变体。结果显示平均DID准确率达到81.63%，平均字符错误率（CER）和词错误率（WER）分别为4.65%和17.73%。这些结果充分证明了该联合建模方法的有效性，与单独优化的基线相比有显著提升。此外，论文还讨论了模型的泛化能力及对不同方言的鲁棒性。
这项研究由Saurabh Kumar等人在2026年7月提交至arXiv，代码和数据有望后续公开。该工作对低资源多方言语音识别系统具有重要参考价值，未来可应用于语音助手、语言教育等领域。