大規模言語モデル（LLM）はリソースが豊富な言語で目覚ましい多言語能力を示していますが、低リソースのアフリカ諸言語での性能は依然として十分に理解されておらず、ほとんど評価されていません。ガーナには約50の先住言語が存在し、その多くはデジタルリソースが極めて限られています。このギャップを埋めるため、Stephen E. Moore氏らによる国際研究チームは、最新のLLMのガーナ諸言語におけるゼロショット翻訳性能を評価するベンチマーク「Nsanku」を開発しました。本研究成果はarXivプレプリントとして公開されています。
Nsankuは43のガーナ諸言語をカバーし、評価文はYouVersion聖書プラットフォームから取得され、各言語につき300文ペアが用意されました。研究者らは、GPT-4.1、Claude-sonnet-4-5、Gemini-2.5-flashなどの商用モデル、およびLLaMA、Qwenなどのオープンウェイトモデルを含む19の代表的なモデルを選定しました。評価には、BLEU（語彙マッチング重視）とchrF（文字n-gram類似度重視）の2つの相補的な自動指標が採用され、さらに言語間一貫性分析（モデルが異なる言語で安定した性能を示すかどうか）が革新的に導入されました。
実験結果によると、Gemini-2.5-flashが総合平均スコア26.88（BLEU 24.60、chrF 29.16）でトップとなり、Claude-sonnet-4-5が24.87、GPT-4.1が23.20で続きました。オープンウェイトモデルの中では、kimi-k2-instruct-0905が平均20.87で最高でした。しかし、より重要な発見は一貫性分析から得られました。高性能と高一致性の両方を同時に達成したモデルや言語は存在せず、現在のLLMはガーナ諸言語翻訳において大規模に信頼できる状態ではないことが示されました。
言語別では、Siwu語が平均25.73で最高、Nkonya語が11.65で最低と、言語間で大きなばらつきが見られました。これは、ガーナ諸言語の多様性とデータ不足の課題を反映しています。
Nsankuプロジェクトの意義は、ガーナ諸言語に対する初の体系的なLLM翻訳評価を提供しただけでなく、公開されてコミュニティで拡張可能な評価インフラを確立した点にあります。研究者らは、世界中のコミュニティがさらなる言語ペアやテストセットを貢献し、アフリカ言語の自然言語処理研究を推進することを奨励しています。このベンチマークは、モデル開発者、政策立案者、ローカリゼーションサービスプロバイダーにとって、モデル選定や投資の方向性を導く貴重なリファレンスとなるでしょう。