在这篇于2026年5月18日提交至arXiv、编号为2605.19066v1、归类于计算与语言（cs.CL）的论文中，作者Vukosi Marivate对过去十余年低资源自然语言处理（NLP）评估的发展进行了批判性叙事综述，并提出一个核心概念——标注稀缺悖论（Annotation Scarcity Paradox）。论文目前处于审稿阶段，篇幅约54 KB。
作者指出，过去十年间，低资源NLP经历了爆发式增长，跨语言迁移、大规模多语言模型以及各类基准测试的快速涌现共同推动了这一进程。然而，这种表面上的繁荣掩盖了一个关键却长期缺乏审视的张力：要真实评估日益复杂的生成式系统，需要深厚的社会语言学专业知识，而这类人力基础设施正承受严重压力，其分布极不均衡，并在结构上被边缘化。
论文将2014年至今的低资源NLP评估演变划分为三个阶段：早期带有启发式乐观色彩的阶段；自上而下堆叠基准测试所产生的规模幻觉阶段；以及当前生成式模型带来的评估瓶颈阶段。所谓标注稀缺悖论，正是指技术能力在扩展模型规模方面远远超过真实评估所需的主权化人力基础设施，二者之间形成的结构性摩擦。作者通过考察抽取式数据流水线、报酬不足的幽灵工作（ghost work）以及语言数据外泄（language data flaring）等现象，论证这一悖论已经威胁到所报告进展的认识论有效性——即我们是否真正衡量了模型在所涉语言上的能力。
在梳理问题的同时，论文也综述了正在出现的应对路径，包括数据增强、基于模型的评估、参与式数据策管，以及借助项目反应理论（IRT）和主动学习实现的高效标注方法，并逐项评估这些方案在公平性与有效性之间的取舍。作者在结尾向从业者发出行动呼吁，认为突破这一瓶颈需要范式转变：从交易式数据抽取转向关系型、嵌入社区的评估实践，其根基在于认识论治理、数据主权与共享所有权。
需要指出的是，本文属于批判性综述与立场性论述，而非提出新的实证基准或实验数据；其价值在于系统梳理低资源NLP评估的结构性问题与治理议题。该论文以arXiv预印本形式发布，DOI为10.48550/arXiv.2605.19066（DataCite注册待定），提交时间为2026年5月18日19:48:00 UTC。