ラベル分布からの学習におけるメトリック依存アノテーション飽和
アノテータがラベルについて意見を異にする場合、その不一致自体がシグナルを運びますが、それを捉えるために必要なアノテータ数は評価メトリックに依存します。本研究では、ChaosNLIからサブサンプリングしたラベル分布でNLIモデルを微調整し、エントロピー相関は20～50人のアノテータで収束する一方、KLダイバージェンスは約10人で飽和することを発見しました。ソフトラベルはラベル平滑化では再現できない項目固有のシグナルを持ちます。
Appleの機械学習研究チームは、アノテーション飽和に関する新たな研究を発表しました。この研究は、評価指標がアノテータ数に与える影響を明らかにしています。ChaosNLIデータセットからサブサンプリングしたラベル分布で自然言語推論（NLI）モデルを微調整した結果、エントロピー相関（モデルがどの項目が不一致を引き起こすかを識別できるか）は約20～50人のアノテータで収束するのに対し、分布マッチング（KLダイバージェンス）は約10人で飽和することがわかりました（5つのモデルシードで87～95%の改善）。この発見は、ソフトラベルが項目固有のシグナルを持ち、ラベル平滑化では再現できないという以前の観察に基づいています。5つの平滑化強度でエントロピー相関はr≈0.45～0.49にクラスタリングされたのに対し、ソフトラベルはr=0.643（p<0.001）に達しました。項目ごとの分析により、この差は平滑化があいまいな項目と明確な項目を区別できないことに起因することが示されました。ソフトラベルの利点は、2つのアーキテクチャ（DeBERTa、RoBERTa）、非NLI事前学習ベースライン、およびコンテンツ安全性に関する探索的クロスドメイン評価でも再現されました。これらの結果は、アノテーション予算を一律に設定するのではなく、目標の評価メトリックに基づいて決定すべきであることを示唆しています。本研究は、現実のアプリケーションにおけるアノテーションリソースの効率的な活用に重要な指針を提供します。