データ効率的なコードスイッチング音声認識のための強化学習
研究者らは、音声言語モデルをコードスイッチング自動音声認識に適応させるための、検証可能な報酬を用いた強化学習（RLVR）手法を提案する。わずか10%のデータで、RLVRはQwen2-Audio上で10言語ペアにわたって全データセットの教師ありファインチューニングと同等の性能を達成し、その利得はゼロショットで人間録音のコードスイッチングコーパスに転移する。
近年、コードスイッチング音声認識（ASR）は多言語音声処理における重要な課題となっている。話者が一つの文の中で複数の言語を混在させる場合、従来のASRシステムは言語の境界でしばしば失敗し、翻訳誤りやスクリプト汚染（例えば、中国語の文脈にラテン文字が現れること）を引き起こす。音声言語モデルは多言語入力の処理が可能だが、その復号プロセスはコードスイッチングに最適化されていない。
この問題に対処するため、Ziwei Yeらは、グループ相対ポリシー最適化（GRPO）を用いた、検証可能な報酬による強化学習（RLVR）手法を提案した。本手法は、誤り率報酬とスクリプト忠実度報酬を革新的に組み合わせる。誤り率報酬は翻訳誤り（例えば、英語の単語を中国語に誤訳すること）を罰し、スクリプト忠実度報酬は誤った文字体系の使用（例えば、中国語の文の出力に漢字ではなく英字を使用すること）を修正する。さらに、二段階のドラフト・リファインメント手順を導入し、最初の仮書き起こしを生成した後、報酬機構を用いて結果を精緻化する。
実験では、Qwen2-Audioを再現可能なテストベッドとして、10の言語ペア（中英、英仏、英西など）を対象に、TTS生成のコードスイッチング音声のみで訓練を行った。その結果、わずか10%の訓練データで、RLVRの性能はLoRAベースの全データセット教師ありファインチューニング（SFT）と同等となり、特に類型論的に遠い言語ペア（例えば、中国語とアラビア語）で大きな改善が見られた。誤り率報酬は翻訳誤りを効果的に排除し、スクリプト忠実度報酬は他の性能を損なうことなくスクリプト汚染を低減した。さらに重要なことは、これらの利得が人間が録音した実際のコードスイッチングコーパスにゼロショットで転移し、手法の汎化能力を示した点である。
本研究の成果はInterspeech 2026に採択されており、多言語環境におけるコードスイッチングASRのための実用的でデータ効率的な適応手法を提供する。今後、この手法はさらに多くの言語ペアや複雑な多言語混合シナリオに拡張される可能性がある。