自然言語推論（NLI）などのタスクでは、アノテーター間の意見の不一致はノイズではなく、サンプルの曖昧さに関する貴重な信号を含んでいます。最近の論文「Metric-Dependent Annotation Saturation for Learning from Label Distributions」は、この不一致をどのように活用するかを深く探求し、重要な発見を明らかにしました。それは、不一致信号を捉えるために必要なアノテーターの数が、最終的に重視する評価指標に強く依存するという点です。
研究者らはChaosNLIデータセットを基盤としています。このデータセットは各項目に100人の独立したアノテーターの判断を提供します。彼らはこの完全な分布から異なる数のアノテーター（N）をサブサンプリングしてラベル分布を構築し、NLIモデルを微調整してこれらの軟ラベルを学習させました。実験は3クラスNLI設定に焦点を当て、2つの主要な評価軸を検討しました：エントロピー相関と分布一致（KLダイバージェンスで測定）です。
結果は、明確な指標依存的な飽和現象を示しました。エントロピー相関は、モデルがどの項目が不一致を引き起こしやすいかを識別できるかを測定し、収束するには約20〜50人のアノテーターが必要です。対照的に、分布一致（モデル出力分布と真のラベル分布間のKLダイバージェンス）は、わずか約10人のアノテーターで飽和に達し、5つのモデルシードで87%〜95%の改善を達成しました。これは、モデルに曖昧なサンプルを区別させることを目標とする場合、より多くのアノテーション投資が必要である一方、全体的な分布適合のみを気にする場合は、より少ないアノテーション量で十分であることを意味します。
この発見は、軟ラベルが項目固有の信号を持ち、ラベルスムージングではそれを再現できないという以前の観察に基づいています。研究では5つのスムージング強度を比較し、エントロピー相関が常にr≈0.45–0.49の範囲にあるのに対し、軟ラベルではr=0.643（p<0.001）に達することを見出しました。項目ごとの分析は、このギャップがラベルスムージングが曖昧なサンプルと明確なサンプルを区別できないことに起因することを示しています。スムージングはすべてのサンプルに均一な平滑化を適用しますが、軟ラベルは各サンプル固有の不確実性パターンを保持します。
軟ラベルの優位性は複数の設定で再現されました：2つのアーキテクチャ（DeBERTaとRoBERTa）、NLI事前学習なしのベースラインモデル、および探索的なクロスドメイン評価（コンテンツセーフティ）です。これらの結果は、アノテーション予算の配分を一律に設定するのではなく、目標評価指標に基づいて決定すべきであることを示しています。サンプルの曖昧さを精细に区別する必要があるアプリケーションには、より多くのアノテーター投入が不可欠です。一方、分布一致のみを必要とするタスクには、より少ないアノテーション量で十分です。この研究は、合理的なアノテーション戦略の設計に実証的根拠を提供します。