近年來，大型語言模型（LLM）在機器翻譯領域取得了顯著進展，特別是在資源豐富的語言對之間。然而，對於全球數千種低資源語言，尤其是非洲語言，LLM的翻譯能力仍是一個未解之謎。加納擁有約50種本土語言，其中許多在數字資源上極為匱乏。為了填補這一空白，由Stephen E. Moore等人組成的國際研究團隊開發了Nsanku基準測試，旨在評估當前最先進的LLM在加納語言零樣本翻譯上的表現。該研究近日發表於arXiv預印本平台。
Nsanku涵蓋43種加納語言，評估句子均來源於YouVersion聖經平台，每種語言提供了300個對齊句子對。研究人員選取了19個具有代表性的模型，包括GPT-4.1、Claude-sonnet-4-5、Gemini-2.5-flash等商業模型，以及LLaMA、Qwen等開源模型。評估採用了兩項互補的自動指標：BLEU（注重詞彙匹配）和chrF（注重字符級n-gram相似度），並創新性地引入了跨語言一致性分析，即評估模型在不同語言上表現是否穩定。
實驗結果顯示，Gemini-2.5-flash以總體平均分26.88（BLEU 24.60，chrF 29.16）位居榜首，Claude-sonnet-4-5以24.87緊隨其後，GPT-4.1以23.20位列第三。開源模型中，kimi-k2-instruct-0905表現最佳，平均分達到20.87。但更重要的發現來自一致性分析：沒有任何模型能夠同時進入“高性能”和“高一致性”的領導者象限。這意味着，即使某些模型在某些語言上取得了較好分數，其整體可靠性仍然不足，無法滿足大規模應用的需求。
從語言維度看，Siwu語獲得了最高的平均分25.73，而Nkonya語僅得到11.65分，表明不同語言之間的表現差異巨大。這一結果反映了加納語言多樣性和數據稀缺性帶來的挑戰。
Nsanku項目的意義不僅在於提供了首個針對加納語言的系統化LLM翻譯評估，更在於其建立了一個公開且可社區擴展的評估基礎設施。研究人員鼓勵全球社區貢獻更多語言對和測試集，以推動非洲語言自然語言處理的發展。該基準對於模型開發者、政策制定者以及本地化服務商都具有參考價值，有助於指導模型選型和投資方向。