VakyArth：インド諸言語におけるLLMの語用能力の評価
研究チームは、インド諸言語に特化した初の語用論ベンチマーク「VakyArth」を発表。ヒンディー語、パンジャーブ語、タミル語、マラヤーラム語を対象に、多肢選択問題・自然言語推論・翻訳の3タスクで5つの語用現象を評価する。多言語LLMは、インドの言語・文化的慣習に根ざした語用理解で一貫した失敗を示し、自動翻訳指標は流暢だが語用論的に不正確な出力を見逃しうる。
現実のコミュニケーションでは、文字どおりの意味だけではなく、文脈や文化的慣習から暗示された意図を推論する語用論的能力が欠かせない。しかし既存の語用論的評価は英語や一部の高リソース言語に偏っており、言語的・文化的多様性に富むインド諸言語はほとんど対象になってこなかった。この空白を埋めるため、Usneek Singh氏ら7人の研究チームは、インド諸言語向けの初めての語用論ベンチマーク「VakyArth」を提案した。論文はEMNLP 2026 Findingsに採録され、2026年9月1日にarXiv（識別番号2609.01788）へ投稿された。
VakyArthは、ヒンディー語、パンジャーブ語、タミル語、マラヤーラム語の4言語をカバーし、5つの語用現象を評価する。すなわち、文脈に応じて指示対象が変わる直示、発言によって依頼・謝罪・約束などの行為を行う発話行為、字面に現れない意味を読み取る含意、力関係や親疎・丁寧さの規範が反映される社会語用論、文脈上自然なつながりを生む結束性・一貫性である。評価は、多肢選択問題、自然言語推論、翻訳の3種類のタスクで構成され、問題項目はすべて母語話者によって作成されている。
研究チームは、多様な系統・規模の多言語大規模言語モデルを対象に実験を行った。その結果、モデルはインドの言語的・文化的慣習に根ざした語用論的意味の理解において一貫した失敗を示した。さらに、分析からは言語横断的な系統的差異も浮かび上がった。調べたすべてのモデルと言語の組み合わせで、多肢選択問題の精度は自然言語推論の精度を上回り、翻訳の性能が語用理解を確実には反映しないことも明らかになった。翻訳タスクに限ってみると、ヒンディー語やパンジャーブ語などのインド・アーリア語派は、タミル語やマラヤーラム語などのドラヴィダ語族に比べて良い成果を示した。
さらに重要なのは、自動翻訳評価指標の限界である。こうした指標は、流暢でありながら語用論的に不正確な出力を見逃す可能性があり、その傾向は特に含意と直示に関わる表現で顕著だった。VakyArthは、言語と文化固有の慣習を問題文に組み込むことで、LLMの多言語能力をより深い次元で診断するツールとなる。単語や文法を処理できるだけでなく、誰が、どのような文脈で、なぜそのように言うのかを理解できるかどうか——多言語AIの語用論的知性を測る試みとして注目される。