多言語言語モデルは、意味的に等価な質問に対しても言語が異なると一貫しない回答を生成することがあり、この問題を解決するために言語間整合性を高める様々な手法が提案されてきた。しかし、既存の手法はそれぞれ異なるモデルやタスク、実験プロトコルで評価されているため、手法間の相対的な強みは不明瞭である。このギャップを埋めるため、arXivに投稿された新しい論文（識別番号2609.04409）は、質問応答を対象に、代表的な言語間整合性向上手法の統一的な評価を実施している。
著者ら（Jirui Qi氏を含む5名）は、推論時の介入と学習後アプローチの2つの系統を、3つのモデルファミリーと3つのクローズドフォーマットのベンチマークにわたって比較した。結果として、学習後アプローチは概ね信頼性が高く、特に直接的な分布整合はすべてのモデルとデータセットの組み合わせで一貫して言語間整合性を改善した。一方、他の手法は回答形式や対象言語のカバー範囲に影響されやすいことが分かった。また、クロスドメイン転移は、ソースタスクとターゲットタスクが類似した出力形式を共有する場合を除き、限定的であることが示された。
さらに、著者らは、言語間整合性の向上が、モデルが文化に依存する質問に対して状況に応じて異なる回答を出す能力を損なうかどうかも検証した。2つの文化的多様性を持つ質問応答ベンチマークを用いた結果、クローズドフォーマットの統制された評価では体系的な能力低下は見られなかった。しかし、オープンエンド生成では、特に非英語回答において、時折精度の低下が確認された。
この研究は、今後の言語間整合性向上手法の開発において、クロスドメインの頑健性と文化に適した多様性の両方を評価する必要性を強調している。論文はプレプリントであり、著者らはすべてのコードとデータセットを公開予定であるとしている。対象分野は計算言語学と人工知能である。