本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

あなたは私の言語を話していますか?マルチモーダルLLMにおける話し言葉の言語遵守について

記事の要約

本論文は、LLMベースのASRにおける出力言語の誤識別問題を扱う。著者らはこれを「言語遵守の欠如」と定式化し、違反を定量化する新指標を導入する。出力を厳密に制約しないソフトプロンプティング手法を提案し、ゼロショットプロンプティング、教師ありファインチューニング(SFT)、思考連鎖(CoT)推論の3つの緩和戦略を多言語で比較評価する。

ソースarXiv Computational Linguistics著者: Hyungwon Kim, Kandarp Joshi, Lillian Zhou, Pavel Golik, Petar Aleksic
あなたは私の言語を話していますか?マルチモーダルLLMにおける話し言葉の言語遵守について
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)ベースの自動音声認識(ASR)は多言語でのシームレスな利用を可能にしたが、モデルが出力言語を誤って識別する問題が頻発し、書き起こしの忠実性や下流アプリケーションの品質を損なっている。Hyungwon Kim氏ら5名による論文「Are you speaking my languages? On spoken language adherence in multimodal LLMs」は、この現象に焦点を当てたもので、2026年6月15日にarXivへ投稿された。論文は計算と言語(cs.CL)に分類され、音響(cs.SD)および音声・音声処理(eess.AS)にも関連し、本文は7ページ、表3点で構成されている。

著者らはこの問題を「言語遵守性の欠如(lack of language adherence)」として正式に定義している。多言語環境では、ユーザーが話した言語で書き起こすことが期待されるが、モデルが出力言語を誤って切り替えたり誤認したりする。柔軟性とコードスイッチング能力を維持するため、研究チームは出力を厳密に制約せず、話される可能性のある言語をヒントとして与えるソフトプロンプティング(soft prompting)手法を提案した。これにより、混合言語の会話における自然な挙動を損なわずに言語選択を誘導できる。

さらに論文は、言語遵守の違反を定量化する新しい指標を導入し、異なる手法を比較可能な形で評価する基盤を提供する。その上で、著者らは三つの緩和戦略を評価した。第一に、不確実な状況下で堅牢な指針を与えるゼロショットプロンプティング。第二に、プロンプトへの追従性を高める教師あり微調整(SFT)。第三に、デコード過程で遵守を強制する思考連鎖(Chain-of-Thought, CoT)推論である。

研究チームは複数言語にわたりこれらの手法を比較し、言語違反を減らしつつASR全体の性能を維持できるかを検証した。論文ではさらに、各戦略間のトレードオフを議論し、さまざまな計算リソース制約の下で適切な手法を選ぶための指針を示している。本研究の意義は、多言語ASRにおいて見落とされがちな失敗モードを指摘するだけでなく、実運用に役立つ緩和策と意思決定の参考を提供する点にある。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • LLMベースのASRは出力言語を誤識別することが多く、転写の忠実性と下流アプリケーションの品質を損なう。
  • 著者らは、コードスイッチング能力を維持するため、出力を厳密に制約せずに潜在的な話し言葉をヒントとして与えるソフトプロンプティング手法を提案する。
  • 論文は言語遵守の欠如を正式に定義し、違反を定量化する新指標を導入し、ゼロショットプロンプティング、SFT、CoT推論を多言語で比較する。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。