StereoTales：多言語オープンエンドステレオタイプ発見 in LLMs

StereoTalesは、LLMによるオープンエンドなストーリー生成における社会的バイアスを明らかにする多言語データセットと評価フレームワークです。23のLLMが10言語で生成した65万以上のストーリーを分析し、1500以上の過剰に表現された社会人口学的関連性を発見し、その多くが人間とLLM自身によって有害と判断されました。研究では、評価されたすべてのLLMが自由形式テキストで有害なステレオタイプを生成し、バイアスは言語特異的であり、LLMは社会経済的属性の害を過小評価することが示されています。