用于数据高效代码切换语音识别的强化学习
研究人员提出了一种基于可验证奖励的强化学习（RLVR）方法，用于将音频语言模型适应代码切换语音识别。仅使用10%的数据，RLVR在Qwen2-Audio上跨越10个语言对达到了全数据集监督微调的性能，且增益零样本迁移到人类录音的代码切换语料库。
近年来，代码切换语音识别（ASR）成为多语言语音处理中的一个重要挑战。当说话人在同一句话中混合使用多种语言时，传统的ASR系统往往在语言边界处失败，导致翻译错误和脚本污染（即输出包含错误的文字系统，例如在中文上下文中出现拉丁字母）。音频语言模型虽然能处理多语言输入，但其解码过程并未针对代码切换进行优化。
针对这一问题，Ziwei Ye等研究人员提出了一种基于可验证奖励的强化学习（RLVR）方法，利用分组相对策略优化（GRPO）实现数据高效的模型适应。该方法创新性地将错误率奖励与脚本保真度奖励相结合：错误率奖励惩罚翻译错误（如将英文单词误译为中文），而脚本保真度奖励则纠正错误的书写系统（例如确保中文句子的输出使用汉字而非英文字母）。此外，他们还设计了一个两遍草稿-精炼流程，首先生成初步转录，然后通过奖励机制精炼结果。
实验以Qwen2-Audio为可复现测试平台，覆盖10个语言对（包括中英、英法、英西等），仅使用TTS生成的代码切换语音进行训练。结果表明，仅需10%的训练数据，RLVR的性能即可与基于LoRA的全数据集监督微调（SFT）相媲美，甚至在类型学距离较大的语言对上（如中文-阿拉伯语）提升更为显著。错误率奖励有效消除了翻译错误，而脚本保真度奖励则在不牺牲其他性能的前提下减少了脚本污染。更值得关注的是，这些增益能够零样本迁移到人类录音的真实代码切换语料库，展示了方法的泛化能力。
该研究成果已被Interspeech 2026接收，为多语言环境下的代码切换ASR提供了一种实用、数据高效的适应方案。未来，该方法有望扩展到更多语言对和更复杂的多语言混合场景。