大規模言語モデル（LLM）はクロスリンガルな知識インターフェースとして広く利用されているが、文化的に根ざした質問に対しては、ローカルな文脈ではなくグローバルに支配的なナラティブを反映してしまうことが多い。この失敗モードを「グローバル・ナラティブ・ドミナンス」と名付け、低資源の文化的文脈であるベンガル語を対象に研究した論文がarXivに投稿された。
研究チームはまず、ベンガル文化に関する717の手作業でキュレーションされたインスタンスからなるCulturalNBデータセットを構築した。各インスタンスにはベンガル語と英語の並行質問応答ペア、裏付け証拠、メタデータ、社会文化的注釈が含まれている。これにより、言語の違いがモデルの文化的応答に与える影響を体系的に評価できる。
評価では、質問のみのプロンプトと証拠に基づくプロンプトの2種類を用い、9つの最先端LLMを被験体とした。評価には人間の判断と2つの独立したLLM審査員を組み合わせ、クロスリンガル一貫性、言語アンカリング、グローバル代替、制度的バイアス、認識論的視点のカバレッジという5つの指標を測定した。
その結果、英語で質問すると、グローバル代替（ローカル知識をグローバルな主流ナラティブで置き換えること）と制度的枠組みが系統的に増加し、ローカルな視点のカバレッジが減少することが明らかになった。さらに、ローカルな証拠を提供すると事実の一貫性と視点のカバレッジは改善するものの、言語によって引き起こされる認識論的シフトを完全に除去することはできないことも示された。
この知見は、LLMの文化的失敗が単なる知識不足ではなく、グラウンディングとナラティブの優先順位付けの失敗でもあることを示唆している。多言語AIシステムの設計においては、言語選択が知識表現に与える影響を考慮し、グローバル・ナラティブ・ドミナンスを積極的に検出・抑制するメカニズムの開発が求められる。