用於資料高效程式碼切換語音識別的強化學習
研究人員提出了一種基於可驗證獎勵的強化學習（RLVR）方法，用於將音訊語言模型適應程式碼切換語音識別。僅使用10%的資料，RLVR在Qwen2-Audio上跨越10個語言對達到了全資料集監督微調的效能，且增益零樣本遷移到人類錄音的程式碼切換語料庫。
近年來，程式碼切換語音識別（ASR）成為多語言語音處理中的一個重要挑戰。當說話人在同一句話中混合使用多種語言時，傳統的ASR系統往往在語言邊界處失敗，導致翻譯錯誤和指令碼汙染（即輸出包含錯誤的文字系統，例如在中文上下文中出現拉丁字母）。音訊語言模型雖然能處理多語言輸入，但其解碼過程並未針對程式碼切換進行最佳化。
針對這一問題，Ziwei Ye等研究人員提出了一種基於可驗證獎勵的強化學習（RLVR）方法，利用分組相對策略最佳化（GRPO）實現資料高效的模型適應。該方法創新性地將錯誤率獎勵與指令碼保真度獎勵相結合：錯誤率獎勵懲罰翻譯錯誤（如將英文單詞誤譯為中文），而指令碼保真度獎勵則糾正錯誤的書寫系統（例如確保中文句子的輸出使用漢字而非英文字母）。此外，他們還設計了一個兩遍草稿-精煉流程，首先生成初步轉錄，然後透過獎勵機制精煉結果。
實驗以Qwen2-Audio為可復現測試平臺，覆蓋10個語言對（包括中英、英法、英西等），僅使用TTS生成的程式碼切換語音進行訓練。結果表明，僅需10%的訓練資料，RLVR的效能即可與基於LoRA的全資料集監督微調（SFT）相媲美，甚至在型別學距離較大的語言對上（如中文-阿拉伯語）提升更為顯著。錯誤率獎勵有效消除了翻譯錯誤，而指令碼保真度獎勵則在不犧牲其他效能的前提下減少了指令碼汙染。更值得關注的是，這些增益能夠零樣本遷移到人類錄音的真實程式碼切換語料庫，展示了方法的泛化能力。
該研究成果已被Interspeech 2026接收，為多語言環境下的程式碼切換ASR提供了一種實用、資料高效的適應方案。未來，該方法有望擴充套件到更多語言對和更復雜的多語言混合場景。