通过人机协作构建可扩展且文化特异的刻板印象数据集
本研究提出一种成本高效的人机协作注释框架，用于构建多语言刻板印象数据集，并应用于西班牙语构建EspanStereo数据集，涵盖多个西语国家的文化特定偏见。评估显示LLMs在不同国家的刻板印象行为存在显著差异，强调需要更文化扎根的评估方法。
大型语言模型（LLM）中的刻板印象研究长期以来一直集中于英语语境，这主要是因为其他语言的数据集严重匮乏，而且在代表性不足的文化中进行人工注释成本高昂。为了填补这一空白，来自Weicheng Ma、John Guerrerio等研究人员提出了一种成本高效的人机协作注释框架，并利用该框架构建了EspanStereo——一个覆盖欧洲和拉丁美洲多个西班牙语国家的刻板印象数据集。该数据集不仅收录了先前文献中已有记载的刻板印象，还包含了英语中心资源所缺失的文化特定偏见。
该框架的核心是让LLM生成候选刻板印象，然后由熟悉当地文化的注释者进行验证。这种方法能够有效识别细微的、地区特有的偏见，同时大幅降低人工注释成本。研究团队使用EspanStereo对支持西班牙语的LLM进行了评估，结果发现模型在不同国家之间表现出显著的刻板印象行为差异，这强烈表明需要采用更文化扎根的评估方法。
该研究发表于EMNLP 2025主会，论文arXiv编号为2607.07895，于2026年7月8日提交。Weicheng Ma和John Guerrerio为共同第一作者。除了西班牙语，该框架还可适应其他语言和地区，为构建多语言刻板印象基准提供了一条可扩展的路径。这项工作拓宽了LLM刻板印象分析的范围，并为全面的跨文化偏见评估奠定了基础。