大規模言語モデル（LLM）は主に英語データで訓練され、豊富な世界知識を獲得しているが、他の言語でそれを確実に表現できないことが多い。これは言語間の事実不一致として知られる現象である。この問題を研究し解決するため、Jonathan von Rad氏ら9名の著者による研究チームがarXivに新しい論文（2606.06586）を公開した。この論文はEMNLP 2026での査読中である。
研究の中心的な貢献の一つは、PolyFactデータセットの構築である。これは大規模な並列多言語事実質問応答データセットであり、12の類型論的に多様な言語にわたる10万件のWikidataに基づく事実を含む。このデータセットは、モデルが異なる言語間で同じ事実を想起する能力を評価するための標準的なベンチマークを提供する。
PolyFactを用いて、著者らは言語間の事実想起を改善する3つの戦略を比較した。軽量な継続事前訓練（CPT）、教師あり微調整（SFT）、そしてグループ相対ポリシー最適化（GRPO）による強化学習である。実験はQwen-2.5-7BとOLMo-2-1124-7Bの2つのモデルで行われた。結果として、GRPOは言語間の一貫性において常にSFTを上回り、訓練で見ていない言語への汎化もより優れていることが示された。一方、並列データでのCPTは限られた追加利益しかもたらさなかった。
GRPOがなぜ効果的なのかを理解するため、研究チームはメカニズム分析を行った。その結果、GRPOはモデルの多言語ルーティングを再編成することがわかった。具体的には、MLP層とアテンションヘッドにおける言語特化を減少させ、より共有された言語間表現を促進する。これは、モデルが各言語に独立した処理ユニットを割り当てるのではなく、異なる言語の事実をより統一された内部表現で処理することを学習することを意味する。
この研究は効果的な訓練方法を提案するだけでなく、データセットとメカニズム分析を通じて言語間知識表現の理解を深めるものである。著者らはコード、モデル、データセットを公開すると述べている。論文は2026年6月4日に提出され、全文はarXivで入手可能である。