近年來，低資源自然語言處理（NLP）領域經歷了爆炸式增長，這主要得益於跨語言遷移學習、大規模多語言模型以及基準測試的迅速普及。然而，這種表面上的進步掩蓋了一個關鍵且未受到充分審視的矛盾：評估日益複雜的生成系統需要深厚的語言社會學專業知識，而這些知識嚴重匱乏、分佈不均且在結構上被邊緣化。
一篇來自arXiv的論文（編號2605.19066）提出了“標註稀缺悖論”這一概念，用以描述模型規模化技術能力與確保評估真實性的主權人力基礎設施之間的結構性摩擦。該論文由Vukosi Marivate撰寫，對2014年至今的低資源NLP評估進行了批判性敍事綜述，將其演變劃分為三個階段：早期啓發式樂觀、自上而下基準擴展的幻覺，以及當前的生成瓶頸期。
研究指出，萃取式數據流水線、低薪“幽靈工作”以及濫用未充分發展的語言數據（即“語言數據激增”）等現象，可能威脅到所報告進展的認知有效性。論文調查了多種應對策略，包括數據增強、基於模型的評估、參與式策展，以及基於項目反應理論和主動學習的標註高效方法，並評估了這些方法在公平性和有效性方面的權衡。
作者最後呼籲實踐者採取行動，認為要克服這一瓶頸，需要從交易式的數據提取範式轉向關係型、社區嵌入的評估模式，這種新模式應立足於認知治理、數據主權和共享所有權。這種轉變不僅涉及技術層面的調整，更需要重新思考評估過程中權力和資源的分配。未來，低資源NLP的可持續發展將依賴於建立真正包容和公平的評估框架，使得語言多樣性得到尊重，而不僅僅是模型性能的提升。