過去10年間、低資源自然言語処理（NLP）は爆発的な成長を遂げてきた。その原動力は、言語間転移、大規模多言語モデル、そしてベンチマークの急速な普及である。しかし、この見かけ上の進歩は、十分に検討されていない重大な緊張関係を覆い隠している。ますます複雑化する生成システムを評価するために必要な深い社会言語学的専門知識が深刻に逼迫し、不均等に分布し、構造的に周縁化されているのだ。Vukosi Marivate氏のサーベイ論文「低資源NLP評価におけるアノテーション希少性のパラドックス：10年の加速と新たな制約」は、この問題を深く分析している。
本論文は、2014年から現在に至る低資源NLP評価を批判的に物語るサーベイであり、その進化を3つの段階に分けて追跡している。初期のヒューリスティックな楽観主義、トップダウン型ベンチマーク拡大の幻想、そして現在の生成的ボトルネック時代である。著者は「アノテーション希少性のパラドックス」という概念を提唱する。これは、モデルを拡張する技術的能力が、それらを真に評価するために必要な主権的人間インフラをはるかに超えたときに生じる構造的摩擦である。
抽出的データパイプライン、報酬の低い「ゴーストワーク」、言語データフレアなどを検討することで、著者はこのパラドックスが報告される進歩の認識論的妥当性を脅かすと論じる。言い換えれば、評価自体が依存するコミュニティや専門家のリソースが体系的に弱体化されているため、低資源言語におけるモデルの実際の能力を過大評価している可能性がある。
論文はまた、データ拡張、モデルベース評価、参加型キュレーション、項目反応理論やアクティブラーニングによるアノテーション効率化手法など、新たな対応策を概観し、公平性と妥当性のトレードオフを評価する。最後に著者は実務家への行動喚起を行い、このボトルネックを克服するにはパラダイムシフトが必要だと主張する。すなわち、取引的なデータ抽出から、認識論的ガバナンス、データ主権、共有所有権に根ざした、関係性に基づくコミュニティ埋め込み型評価への転換である。
本論文は2026年5月18日に提出され、計算と言語（cs.CL）分野に属し、現在査読中である。