近年来，大语言模型（LLM）被广泛用于自动化标注自然语言处理（NLP）数据集，以扩展训练数据的规模。然而，针对低资源语言在闭集指令下的LLM行为研究仍然不足。为此，研究者提出了MultiSoc-4D基准数据集，旨在系统性地诊断LLM在标注孟加拉语社交媒体内容时的偏差。该数据集包含来自六个来源的58,000多条社交媒体评论，由人类标注了类别、情感、仇恨言论和讽刺四个维度。
研究团队设计了一个结构化流程：让ChatGPT、Gemini、Claude和Grok分别标注不同的数据分区，同时共享20%的验证集。通过这种设计，他们能够系统地分析LLM的标注行为。结果发现了一种普遍现象，称为“指令诱导标签坍塌”。具体来说，LLM在闭集标注中倾向于选择后备标签，如“其他”、“中性”或“否”，而不是使用更具体的类别。这种偏好导致标注间的一致性很高，但实际上却严重低估了少数类别的出现频率。例如，与人类标注者相比，LLM未能检测出79%的仇恨言论实例和75%的讽刺内容。
进一步分析表明，这种高一致性实际上是一种“标签一致性幻觉”。通过弗莱斯Kappa系数进行统计验证，讽刺检测的Kappa值几乎为零（κ≈-0.001），表明LLM之间的所谓一致性完全低于随机水平。研究团队在40多种不同的LLM上进行了基准测试，发现这种标注偏差在训练流程中普遍传播，无论模型架构如何差异，偏差都持续存在。
MultiSoc-4D作为一个诊断基准，已公开发布。它专门针对孟加拉语NLP中的标注偏差问题，为低资源语言的研究者提供了一个重要的评估工具。该研究不仅揭示了LLM在低资源语言标注中的局限性，也强调了在自动化标注流程中需要谨慎对待少数类别的检测问题。未来，这项基准有望推动更鲁棒的标注方法的发展，特别是在多语言和低资源场景下。