2026年5月13日，一篇题为《Direct Preference Optimization for English-Mandarin Code-Switching Speech Recognition in Audio LLMs》的论文提交至arXiv，编号arXiv:2605.23975v1，归类于计算与语言（cs.CL）及声音（cs.SD）领域。该研究由Trung Nguyen Quang等六位作者共同完成，针对音频大语言模型（Audio LLMs）在中英混码语音转录中的系统性失败展开深入分析，并提出基于直接偏好优化（DPO）的对齐方案。
论文指出，尽管当前音频大语言模型具备强大的多语言能力，但在处理中英混码语音时仍会出现三种典型失败模式：语言遗漏（language omission），即模型在转录时丢失部分语言内容；翻译而非转录（translation-instead-of-transcription），即模型错误地将混合语言翻译为单一语言而非如实转写；以及幻觉（hallucination），即模型生成与原始语音无关的内容。这些失败模式严重影响了混码语音识别的准确性和可靠性。
为解决上述问题，研究团队采用直接偏好优化（DPO）方法对模型进行对齐。他们构建了偏好对数据集，其中“选择”的响应保留混合语言内容，而“拒绝”的响应则模仿上述失败模式。通过这种方式，模型能够学习到正确的混码转录行为。实验使用了10万个偏好对，总计570小时的音频数据，对三个音频大语言模型进行训练。
实验结果显示，经过DPO对齐后，模型行为发生了显著且一致的转变：模型学会了在收到转录提示时保留语言构成，而非进行翻译。这一对齐策略在分布内数据上实现了高达89.6%的混合错误率（MER）降低，在分布外数据上也有20.0%的MER降低。这些结果表明，DPO能够有效激发多语言音频大语言模型正确的混码转录行为。
该研究不仅揭示了音频大语言模型在混码语音识别中的具体缺陷，还提供了一种可行的对齐解决方案，对于提升多语言语音交互系统的实用性和准确性具有重要意义。论文的提交时间为2026年5月13日16:15:33 UTC，全文可通过arXiv获取。