近年来，大型语言模型（LLM）在机器翻译领域取得了显著进展，特别是在资源丰富的语言对之间。然而，对于全球数千种低资源语言，尤其是非洲语言，LLM的翻译能力仍是一个未解之谜。加纳拥有约50种本土语言，其中许多在数字资源上极为匮乏。为了填补这一空白，由Stephen E. Moore等人组成的国际研究团队开发了Nsanku基准测试，旨在评估当前最先进的LLM在加纳语言零样本翻译上的表现。该研究近日发表于arXiv预印本平台。
Nsanku涵盖43种加纳语言，评估句子均来源于YouVersion圣经平台，每种语言提供了300个对齐句子对。研究人员选取了19个具有代表性的模型，包括GPT-4.1、Claude-sonnet-4-5、Gemini-2.5-flash等商业模型，以及LLaMA、Qwen等开源模型。评估采用了两项互补的自动指标：BLEU（注重词汇匹配）和chrF（注重字符级n-gram相似度），并创新性地引入了跨语言一致性分析，即评估模型在不同语言上表现是否稳定。
实验结果显示，Gemini-2.5-flash以总体平均分26.88（BLEU 24.60，chrF 29.16）位居榜首，Claude-sonnet-4-5以24.87紧随其后，GPT-4.1以23.20位列第三。开源模型中，kimi-k2-instruct-0905表现最佳，平均分达到20.87。但更重要的发现来自一致性分析：没有任何模型能够同时进入“高性能”和“高一致性”的领导者象限。这意味着，即使某些模型在某些语言上取得了较好分数，其整体可靠性仍然不足，无法满足大规模应用的需求。
从语言维度看，Siwu语获得了最高的平均分25.73，而Nkonya语仅得到11.65分，表明不同语言之间的表现差异巨大。这一结果反映了加纳语言多样性和数据稀缺性带来的挑战。
Nsanku项目的意义不仅在于提供了首个针对加纳语言的系统化LLM翻译评估，更在于其建立了一个公开且可社区扩展的评估基础设施。研究人员鼓励全球社区贡献更多语言对和测试集，以推动非洲语言自然语言处理的发展。该基准对于模型开发者、政策制定者以及本地化服务商都具有参考价值，有助于指导模型选型和投资方向。