欧州多言語評価データセットの構築：EMTネットワークにおけるMMLUローカリゼーションプロジェクト
本論文は、欧州委員会翻訳総局（DGT）と欧州翻訳修士（EMT）ネットワークが協力し、MMLUデータセットを11の欧州言語にローカライズしたプロジェクトについて報告する。このプロジェクトは、LLM評価のためのより包括的なベンチマークを作成するだけでなく、修士課程の学生に翻訳、校閲、プロジェクト管理、多言語調整における本格的なプロジェクトベースの専門トレーニングを提供し、方法論的、管理的、ワークフロー上の重要な課題を浮き彫りにしている。
欧州では、多言語AI評価の発展に向けた取り組みが進んでいる。2026年7月に発表された論文では、欧州委員会翻訳総局（DGT）と欧州翻訳修士（EMT）ネットワークの協力により、広く利用されているMMLU（大規模多タスク言語理解）データセットを11の欧州言語にローカライズしたプロジェクトが詳述されている。このプロジェクトは、現在の大規模言語モデル（LLM）評価における言語多様性の欠如を補うだけでなく、翻訳を学ぶ学生に貴重な実践的トレーニングの機会を提供している。
MMLUデータセットはもともと英語環境におけるLLMの知識と推論能力を評価するために設計されたが、他の言語への対応が不十分だった。DGTとEMTネットワークの協力により、データセットの質問をフランス語、ドイツ語、スペイン語、イタリア語などを含む11の欧州言語に翻訳し、より包括的でバランスの取れた評価ベンチマークが作成された。これにより、研究者は多言語LLMの性能をより正確に測定でき、欧州の言語技術のAI分野における応用が促進される。
技術的な貢献に加え、このプロジェクトは教育的意義も大きい。参加した修士課程の学生は、実際の翻訳、校閲、プロジェクト管理、多言語調整を担当し、職業経験を積んだ。このプロジェクトベースの学習方法は、教室での理論と実際の仕事の場面を結びつけ、用語の一貫性、品質管理、異文化コミュニケーションなど、翻訳プロジェクト管理に必要な重要なスキルを学生に身につけさせる。
しかし、論文はローカライゼーションの過程で直面した多くの課題も指摘している。方法論的には、翻訳後の問題が意味的・文化的に同等であることを確保することが難しい。管理面では、複数の機関のリソースとスケジュールを調整するための精巧な計画が必要となる。ワークフロー面では、元のデータセットの選択から翻訳、レビュー、最終公開に至るまでの各段階で厳格な監視が求められる。これらの経験は、将来の同様の大規模ローカライゼーションプロジェクトに貴重な参考資料を提供する。
全体として、この論文は多言語AI評価を推進するための機関間協力の可能性を示し、次世代の翻訳専門家を育成する革新的なモデルを提供している。プロジェクトで作成されたデータセットは研究コミュニティに公開される予定で、欧州の多言語AIの発展にさらに貢献すると期待される。