低资源NLP评估中的标注稀缺悖论：加速十年与新约束
过去十年低资源自然语言处理(NLP)通过跨语言迁移、大规模多语言模型和基准测试的激增实现快速增长，但评估所需的深层社会语言学专业知识严重不足且分布不公。本文提出“标注稀缺悖论”概念，批判性综述2014年至今低资源NLP评估的演变，分析萃取式数据流水线、低薪“幽灵工作”和语言数据激增等问题，并探讨数据增强、基于模型的评估、参与式策展及项目反应理论等应对策略及其公平性与有效性权衡。
近年来，低资源自然语言处理（NLP）领域经历了爆炸式增长，这主要得益于跨语言迁移学习、大规模多语言模型以及基准测试的迅速普及。然而，这种表面上的进步掩盖了一个关键且未受到充分审视的矛盾：评估日益复杂的生成系统需要深厚的语言社会学专业知识，而这些知识严重匮乏、分布不均且在结构上被边缘化。
一篇来自arXiv的论文（编号2605.19066）提出了“标注稀缺悖论”这一概念，用以描述模型规模化技术能力与确保评估真实性的主权人力基础设施之间的结构性摩擦。该论文由Vukosi Marivate撰写，对2014年至今的低资源NLP评估进行了批判性叙事综述，将其演变划分为三个阶段：早期启发式乐观、自上而下基准扩展的幻觉，以及当前的生成瓶颈期。
研究指出，萃取式数据流水线、低薪“幽灵工作”以及滥用未充分发展的语言数据（即“语言数据激增”）等现象，可能威胁到所报告进展的认知有效性。论文调查了多种应对策略，包括数据增强、基于模型的评估、参与式策展，以及基于项目反应理论和主动学习的标注高效方法，并评估了这些方法在公平性和有效性方面的权衡。
作者最后呼吁实践者采取行动，认为要克服这一瓶颈，需要从交易式的数据提取范式转向关系型、社区嵌入的评估模式，这种新模式应立足于认知治理、数据主权和共享所有权。这种转变不仅涉及技术层面的调整，更需要重新思考评估过程中权力和资源的分配。未来，低资源NLP的可持续发展将依赖于建立真正包容和公平的评估框架，使得语言多样性得到尊重，而不仅仅是模型性能的提升。