StereoTales：多语言开放式大语言模型刻板印象发现

本文介绍了StereoTales，一个用于揭示大语言模型（LLM）在自由文本生成中社会偏见的多语言数据集和评估框架。通过分析23个前沿LLM在10种语言中生成的超过65万个开放式故事，发现了1500多个过度代表的社会人口关联，并经人类评估者和LLM自身判断其中许多为有害。研究表明，所有评估的LLM在开放式生成中都会产生有害刻板印象，且这些刻板印象具有语言特异性，并非简单从英语迁移而来。