用於數據高效代碼切換語音識別的強化學習
研究人員提出了一種基於可驗證獎勵的強化學習（RLVR）方法，用於將音頻語言模型適應代碼切換語音識別。僅使用10%的數據，RLVR在Qwen2-Audio上跨越10個語言對達到了全數據集監督微調的性能，且增益零樣本遷移到人類錄音的代碼切換語料庫。
近年來，代碼切換語音識別（ASR）成為多語言語音處理中的一個重要挑戰。當説話人在同一句話中混合使用多種語言時，傳統的ASR系統往往在語言邊界處失敗，導致翻譯錯誤和腳本污染（即輸出包含錯誤的文字系統，例如在中文上下文中出現拉丁字母）。音頻語言模型雖然能處理多語言輸入，但其解碼過程並未針對代碼切換進行優化。
針對這一問題，Ziwei Ye等研究人員提出了一種基於可驗證獎勵的強化學習（RLVR）方法，利用分組相對策略優化（GRPO）實現數據高效的模型適應。該方法創新性地將錯誤率獎勵與腳本保真度獎勵相結合：錯誤率獎勵懲罰翻譯錯誤（如將英文單詞誤譯為中文），而腳本保真度獎勵則糾正錯誤的書寫系統（例如確保中文句子的輸出使用漢字而非英文字母）。此外，他們還設計了一個兩遍草稿-精煉流程，首先生成初步轉錄，然後通過獎勵機制精煉結果。
實驗以Qwen2-Audio為可復現測試平台，覆蓋10個語言對（包括中英、英法、英西等），僅使用TTS生成的代碼切換語音進行訓練。結果表明，僅需10%的訓練數據，RLVR的性能即可與基於LoRA的全數據集監督微調（SFT）相媲美，甚至在類型學距離較大的語言對上（如中文-阿拉伯語）提升更為顯著。錯誤率獎勵有效消除了翻譯錯誤，而腳本保真度獎勵則在不犧牲其他性能的前提下減少了腳本污染。更值得關注的是，這些增益能夠零樣本遷移到人類錄音的真實代碼切換語料庫，展示了方法的泛化能力。
該研究成果已被Interspeech 2026接收，為多語言環境下的代碼切換ASR提供了一種實用、數據高效的適應方案。未來，該方法有望擴展到更多語言對和更復雜的多語言混合場景。