構建歐洲多語言評估數據集：EMT網絡中的MMLU本地化項目
該論文報道了歐盟翻譯總局（DGT）與歐洲翻譯碩士（EMT）網絡合作，將MMLU數據集本地化為11種歐洲語言的項目。該項目不僅創建了更包容的大語言模型評估基準，還為碩士生提供了真實的翻譯、修訂、項目管理和多語言協調的專業培訓，同時揭示了關鍵的方法論、行政和工作流程挑戰。
歐洲正在努力推動多語言人工智能評估的發展。一篇發表於2026年7月的論文詳細介紹了歐盟翻譯總局（DGT）與歐洲翻譯碩士（EMT）網絡之間的一項合作，旨在將廣受歡迎的MMLU（大規模多任務語言理解）數據集本地化為11種歐洲語言。該項目不僅填補了當前大語言模型（LLM）評估中語言多樣性的空白，還為翻譯專業的學生提供了寶貴的實踐培訓機會。
MMLU數據集原本主要用於評估英語環境下LLM的知識和推理能力，但缺乏對其他語言的覆蓋。DGT與EMT網絡的這一合作，通過將數據集中的問題翻譯成包括法語、德語、西班牙語、意大利語等在內的11種歐洲語言，創建了一個更加包容和全面的評估基準。這使得研究人員能夠更準確地衡量多語言LLM的性能，並推動歐洲本土語言技術在人工智能領域的應用。
除了技術層面的貢獻，該項目還具有重要的教育意義。參與項目的碩士生承擔了實際的翻譯、修訂、項目管理和多語言協調工作，獲得了真實的職業經驗。這種基於項目的學習方法將課堂理論與實際工作場景相結合，幫助學生掌握翻譯項目管理中的關鍵技能，例如術語一致性、質量控制以及跨文化溝通。
然而，論文也指出了在本地化過程中遇到的多項挑戰。方法論上，如何確保翻譯後的題目在語義和文化上等價是一個難題；行政層面，協調多個機構的資源與時間表需要精細的規劃；工作流程方面，從原始數據集的選擇到翻譯、審核、最終發佈的每個環節都需要嚴格的監督。這些經驗為未來類似的大規模本地化項目提供了寶貴的參考。
總體而言，該論文展示了跨機構合作在推動多語言AI評估中的潛力，同時為培養下一代翻譯專業人才提供了創新模式。項目產出的數據集預計將向研究社區開放，進一步促進歐洲多語言AI的發展。