近年來，大語言模型（LLM）被廣泛用於自動化標註自然語言處理（NLP）資料集，以擴充套件訓練資料的規模。然而，針對低資源語言在閉集指令下的LLM行為研究仍然不足。為此，研究者提出了MultiSoc-4D基準資料集，旨在系統性地診斷LLM在標註孟加拉語社交媒體內容時的偏差。該資料集包含來自六個來源的58,000多條社交媒體評論，由人類標註了類別、情感、仇恨言論和諷刺四個維度。
研究團隊設計了一個結構化流程：讓ChatGPT、Gemini、Claude和Grok分別標註不同的資料分割槽，同時共享20%的驗證集。透過這種設計，他們能夠系統地分析LLM的標註行為。結果發現了一種普遍現象，稱為“指令誘導標籤坍塌”。具體來說，LLM在閉集標註中傾向於選擇後備標籤，如“其他”、“中性”或“否”，而不是使用更具體的類別。這種偏好導致標註間的一致性很高，但實際上卻嚴重低估了少數類別的出現頻率。例如，與人類標註者相比，LLM未能檢測出79%的仇恨言論例項和75%的諷刺內容。
進一步分析表明，這種高一致性實際上是一種“標籤一致性幻覺”。透過弗萊斯Kappa係數進行統計驗證，諷刺檢測的Kappa值幾乎為零（κ≈-0.001），表明LLM之間的所謂一致性完全低於隨機水平。研究團隊在40多種不同的LLM上進行了基準測試，發現這種標註偏差在訓練流程中普遍傳播，無論模型架構如何差異，偏差都持續存在。
MultiSoc-4D作為一個診斷基準，已公開發布。它專門針對孟加拉語NLP中的標註偏差問題，為低資源語言的研究者提供了一個重要的評估工具。該研究不僅揭示了LLM在低資源語言標註中的侷限性，也強調了在自動化標註流程中需要謹慎對待少數類別的檢測問題。未來，這項基準有望推動更魯棒的標註方法的發展，特別是在多語言和低資源場景下。