在自然语言推理（NLI）等任务中，标注者之间的意见分歧并非噪声，而是蕴含了关于样本模糊性的有价值信号。近期一篇论文《Metric-Dependent Annotation Saturation for Learning from Label Distributions》深入探讨了如何利用这种分歧，并揭示了一个关键发现：捕获分歧信号所需的标注者数量，强烈依赖于我们最终关心的评估指标。
研究者以ChaosNLI数据集为基础，该数据集为每个样本提供了100个独立的标注者判断。他们通过从这些完整分布中二次采样不同数量的标注者（N），构建标签分布，并微调NLI模型来学习这些软标签。实验聚焦于三分类NLI设置，并考察了两个核心评估维度：熵相关（entropy correlation）和分布匹配（分布匹配，用KL散度衡量）。
结果显示出明显的度量依赖性饱和现象。熵相关衡量的是模型能否识别出哪些样本容易引发分歧，这需要大约20到50个标注者才能收敛。相比之下，分布匹配——即模型输出的分布与真实标签分布之间的KL散度——在仅用约10个标注者时就已达到饱和，获得了五个模型种子下87%到95%的改进。这意味着，如果目标是让模型学会区分模糊样本，就需要更多的标注投入；而如果只关心整体分布拟合，较少的标注量就足够了。
这一发现建立在先前观察的基础上：软标签携带了项目特定的信号，而标签平滑（label smoothing）无法复制这种信号。研究对比了五种平滑强度，发现熵相关始终在r≈0.45–0.49之间徘徊，而软标签的熵相关达到了r=0.643（p<0.001）。逐项分析表明，这种差距源于标签平滑无法区分模糊样本和清晰样本——它对所有样本施加均匀的平滑，而软标签则保留了每个样本特有的不确定性模式。
软标签的优势在多个设置下得到了复现：两种架构（DeBERTa和RoBERTa）、一个未经NLI预训练的基线模型，以及一个探索性的跨领域评估（内容安全）。这些结果共同表明，标注预算的分配不应一刀切，而应基于目标评估指标来制定。对于需要精细区分样本模糊性的应用，更多的标注者投入是必要的；而对于仅需分布匹配的任务，较少的标注量即可满足需求。这项研究为合理设计标注策略提供了实证依据。