跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

你说的是我的语言吗?多模态大语言模型中的口语语言遵循问题

文章摘要

本文研究基于大语言模型(LLM)的自动语音识别(ASR)中输出语言误识别的问题。作者将其定义为“语言遵循”不足,提出软提示方法,并比较零样本提示、监督微调(SFT)和思维链(CoT)推理三种缓解策略,在保持多语言灵活性和语码转换能力的同时减少语言违规。

来源arXiv Computational Linguistics作者: Hyungwon Kim, Kandarp Joshi, Lillian Zhou, Pavel Golik, Petar Aleksic
你说的是我的语言吗?多模态大语言模型中的口语语言遵循问题
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

基于大语言模型(LLM)的自动语音识别(ASR)如今已能支持无缝的多语言使用,但一个日益突出的问题正在影响其可靠性:模型经常错误地识别输出语言,从而损害转写保真度以及下游应用的质量。由 Hyungwon Kim 领衔、共五位作者完成的一篇新论文《Are you speaking my languages? On spoken language adherence in multimodal LLMs》于2026年6月15日提交至 arXiv,专门聚焦这一现象。该论文属于计算与语言(cs.CL)类别,同时涉及声音(cs.SD)与音频及语音处理(eess.AS)领域,正文共7页,包含3张表格。

作者将这一问题正式定义为“语言遵循性不足”(lack of language adherence):在多语言场景中,模型本应以用户所说的语言输出转写结果,却可能错误地切换或误判输出语言。为了在保留灵活性和语码转换(code-switching)能力的同时缓解这一问题,研究团队提出了一种软提示(soft prompting)方法。该方法只是向模型提示可能的 spoken languages,而不对输出施加严格约束,从而避免破坏模型在混合语言对话中的自然表现。

论文的另一项贡献是引入了一个新的度量指标,用于量化语言遵循性的违规情况,使不同方法之间的比较具备了可度量的基础。在此基础上,作者评估了三种缓解策略:第一,零样本提示(zero-shot prompting),旨在不确定性条件下提供稳健的语言引导;第二,监督微调(SFT),以提升模型对提示的遵循程度;第三,思维链(Chain-of-Thought, CoT)推理,在解码过程中强制执行语言遵循性。

研究团队在多种语言上对上述方法进行了比较分析,重点考察它们在减少语言违规的同时能否维持整体 ASR 性能。论文还进一步讨论了不同策略之间的权衡,以帮助开发者在各种计算资源约束下选择合适的方案。该研究的意义在于,它不仅指出了多语言 ASR 中一个容易被忽视的失效模式,也为实际部署提供了可操作的缓解路径与决策参考。

展开要点与分析

文章情报

工程师进阶

要点

  • LLM-based ASR 常误判输出语言,损害转录忠实度与下游应用质量。
  • 作者提出软提示方法,在不严格限制输出的情况下提示潜在口语语言,以保留语码转换灵活性。
  • 论文形式化定义了“语言遵循”缺乏问题,引入新指标量化违规,并比较零样本提示、SFT 和 CoT 推理三种策略。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。