大規模言語モデル(LLM)ベースの自動音声認識(ASR)は多言語でのシームレスな利用を可能にしたが、モデルが出力言語を誤って識別する問題が頻発し、書き起こしの忠実性や下流アプリケーションの品質を損なっている。Hyungwon Kim氏ら5名による論文「Are you speaking my languages? On spoken language adherence in multimodal LLMs」は、この現象に焦点を当てたもので、2026年6月15日にarXivへ投稿された。論文は計算と言語(cs.CL)に分類され、音響(cs.SD)および音声・音声処理(eess.AS)にも関連し、本文は7ページ、表3点で構成されている。
著者らはこの問題を「言語遵守性の欠如(lack of language adherence)」として正式に定義している。多言語環境では、ユーザーが話した言語で書き起こすことが期待されるが、モデルが出力言語を誤って切り替えたり誤認したりする。柔軟性とコードスイッチング能力を維持するため、研究チームは出力を厳密に制約せず、話される可能性のある言語をヒントとして与えるソフトプロンプティング(soft prompting)手法を提案した。これにより、混合言語の会話における自然な挙動を損なわずに言語選択を誘導できる。
さらに論文は、言語遵守の違反を定量化する新しい指標を導入し、異なる手法を比較可能な形で評価する基盤を提供する。その上で、著者らは三つの緩和戦略を評価した。第一に、不確実な状況下で堅牢な指針を与えるゼロショットプロンプティング。第二に、プロンプトへの追従性を高める教師あり微調整(SFT)。第三に、デコード過程で遵守を強制する思考連鎖(Chain-of-Thought, CoT)推論である。
研究チームは複数言語にわたりこれらの手法を比較し、言語違反を減らしつつASR全体の性能を維持できるかを検証した。論文ではさらに、各戦略間のトレードオフを議論し、さまざまな計算リソース制約の下で適切な手法を選ぶための指針を示している。本研究の意義は、多言語ASRにおいて見落とされがちな失敗モードを指摘するだけでなく、実運用に役立つ緩和策と意思決定の参考を提供する点にある。