近年、大規模言語モデル（LLM）は自然言語処理データセットの自動アノテーションに広く利用され、データセットの大規模化を支えています。しかし、低リソース言語における閉集合命令下でのLLMの振る舞いは十分に研究されていません。本研究では、ベンガル語ソーシャルメディアを対象としたベンチマークデータセット「MultiSoc-4D」を提案し、LLMによるアノテーションのバイアスを体系的に診断します。このデータセットは、6つのソースから収集された58,000件以上のコメントで構成され、カテゴリ、感情、ヘイトスピーチ、皮肉の4次元で人手により注釈されています。
研究チームは、ChatGPT、Gemini、Claude、Grokの4つのLLMを用いて、データを分割してアノテーションを実施し、共通の検証セット（20%）で評価しました。その結果、LLMが「命令誘発ラベル崩壊」と呼ばれる現象を示すことが明らかになりました。これは、LLMが「その他」、「中立」、「なし」といった予備ラベルを過剰に選択する傾向があり、その結果、高い一致率を示す一方で、ヘイトスピーチや皮肉といったマイノリティカテゴリの検出率が極端に低下するというものです。具体的には、ヘイトスピーチの79%、皮肉の75%が見逃されていました。
さらに、皮肉検出におけるフライスのカッパ係数がほぼゼロ（κ≈-0.001）であることから、この高い一致率は「ラベル合意の錯覚」に過ぎないことが統計的に示されました。つまり、LLM間の一致は偶然以下であり、実質的な合意は存在しないことを意味します。このバイアスは、40以上の異なるLLMで確認され、モデルのアーキテクチャに関わらず訓練パイプライン全体に伝播することが明らかになりました。
MultiSoc-4Dは、ベンガル語NLPにおけるアノテーションバイアスの診断ベンチマークとして公開されています。本研究は、低リソース言語におけるLLMのアノテーションの限界を明らかにし、自動アノテーションプロセスにおける少数カテゴリの検出に関する注意喚起を行っています。今後、このベンチマークは、特に多言語・低リソース環境において、より堅牢なアノテーション手法の開発を促進することが期待されます。