人間とLLMの協働によるスケーラブルで文化特異的なステレオタイプデータセットの構築

大規模言語モデル（LLM）におけるステレオタイプ研究は、これまで主に英語圏に集中してきました。その理由は、他の言語でのデータセットが不足していること、そして過小評価されている文化における手動アノテーションのコストが高いことにあります。このギャップを埋めるため、Weicheng Ma氏、John Guerrerio氏らの研究チームは、コスト効率の高い人間とLLMの協働アノテーションフレームワークを提案し、それを適用してスペイン語のステレオタイプデータセット「EspanStereo」を構築しました。EspanStereoは、ヨーロッパとラテンアメリカにわたる複数のスペイン語圏をカバーし、先行文献で文書化されたステレオタイプだけでなく、英語中心のリソースには存在しない文化特異的な偏見も捉えています。

このフレームワークでは、LLMが候補ステレオタイプを生成し、その地域の文化に詳しいアノテーターが検証を行います。これにより、微妙な地域特有の偏見を効果的に特定できると同時に、アノテーションコストを大幅に削減できます。研究チームはEspanStereoを用いてスペイン語対応LLMを評価したところ、モデルのステレオタイプ行動が国によって大きく異なることが明らかになり、より文化に根ざした評価の必要性が浮き彫りになりました。

本研究はEMNLP 2025メインカンファレンスで発表され、論文はarXiv:2607.07895として公開されています（2026年7月8日投稿）。Weicheng Ma氏とJohn Guerrerio氏が同等の貢献をした共同筆頭著者です。スペイン語以外にも、このフレームワークは他の言語や地域に適応可能であり、多言語ステレオタイプベンチマークへのスケーラブルな道筋を提供します。この研究はLLMにおけるステレオタイプ分析の範囲を拡大し、包括的な異文化バイアス評価の基盤を築くものです。