基于大语言模型(LLM)的自动语音识别(ASR)如今已能支持无缝的多语言使用,但一个日益突出的问题正在影响其可靠性:模型经常错误地识别输出语言,从而损害转写保真度以及下游应用的质量。由 Hyungwon Kim 领衔、共五位作者完成的一篇新论文《Are you speaking my languages? On spoken language adherence in multimodal LLMs》于2026年6月15日提交至 arXiv,专门聚焦这一现象。该论文属于计算与语言(cs.CL)类别,同时涉及声音(cs.SD)与音频及语音处理(eess.AS)领域,正文共7页,包含3张表格。
作者将这一问题正式定义为“语言遵循性不足”(lack of language adherence):在多语言场景中,模型本应以用户所说的语言输出转写结果,却可能错误地切换或误判输出语言。为了在保留灵活性和语码转换(code-switching)能力的同时缓解这一问题,研究团队提出了一种软提示(soft prompting)方法。该方法只是向模型提示可能的 spoken languages,而不对输出施加严格约束,从而避免破坏模型在混合语言对话中的自然表现。
论文的另一项贡献是引入了一个新的度量指标,用于量化语言遵循性的违规情况,使不同方法之间的比较具备了可度量的基础。在此基础上,作者评估了三种缓解策略:第一,零样本提示(zero-shot prompting),旨在不确定性条件下提供稳健的语言引导;第二,监督微调(SFT),以提升模型对提示的遵循程度;第三,思维链(Chain-of-Thought, CoT)推理,在解码过程中强制执行语言遵循性。
研究团队在多种语言上对上述方法进行了比较分析,重点考察它们在减少语言违规的同时能否维持整体 ASR 性能。论文还进一步讨论了不同策略之间的权衡,以帮助开发者在各种计算资源约束下选择合适的方案。该研究的意义在于,它不仅指出了多语言 ASR 中一个容易被忽视的失效模式,也为实际部署提供了可操作的缓解路径与决策参考。