尽管非洲语言在语言多样性和全球重要性上不容忽视,但在自然语言处理(NLP)的研究与资源中,它们长期处于代表性不足的状态。为了弥合这一鸿沟,研究人员推出了 AfriSUD——首个面向九种非洲语言的大规模句法标注树库集合。这些语言横跨撒哈拉以南非洲的主要语系和地理区域,具有显著的类型学差异。AfriSUD 的发布标志着非洲语言 NLP 资源建设迈出了重要一步,为系统评估模型在句法层面的能力提供了基准。
该树库采用表层句法通用依存(Surface-Syntactic Universal Dependencies,SUD)框架进行标注。SUD 框架专注于表层句法关系,使得标注在不同语言之间具有可比性,同时能较好地反映语言的形态句法特点。AfriSUD 的构建是一项社区主导的努力,强调母语者参与和验证,从而确保数据质量。标注数据特别关注了非洲语言中常见的类型学关键特征,例如黏着现象(agglutination)和声调(tone),这些特征对句法分析模型构成了独特挑战。
为了评估现有模型在非洲语言上的句法处理能力,研究团队在 AfriSUD 上开展了一系列实验,涵盖词性标注(POS tagging)和依存句法分析(dependency parsing)两个核心任务。参与评测的模型包括非 Transformer 基线、多语言预训练编码器以及大型语言模型(LLM)。这种多样化的模型选择有助于全面了解不同架构在处理非洲语言句法时的表现差异。
实验结果表明,模型在九种语言上均表现出明显的局限性,研究团队将其称为“显著的句法差距”(syntax gap)。这意味着,尽管当前的多语言模型和 LLM 在多种语言上取得了进展,但它们可能仍未充分捕捉非洲语言句法的结构多样性。这一发现提示,现有架构可能需要针对非洲语言的类型学特征进行改进,或者需要更多高质量的标注数据来提升模型性能。AfriSUD 不仅为未来的研究提供了宝贵资源,也为模型开发者指明了改进方向。