通過人機協作構建可擴展且文化特異的刻板印象數據集
本研究提出一種成本高效的人機協作註釋框架，用於構建多語言刻板印象數據集，並應用於西班牙語構建EspanStereo數據集，涵蓋多個西語國家的文化特定偏見。評估顯示LLMs在不同國家的刻板印象行為存在顯著差異，強調需要更文化紮根的評估方法。
大型語言模型（LLM）中的刻板印象研究長期以來一直集中於英語語境，這主要是因為其他語言的數據集嚴重匱乏，而且在代表性不足的文化中進行人工註釋成本高昂。為了填補這一空白，來自Weicheng Ma、John Guerrerio等研究人員提出了一種成本高效的人機協作註釋框架，並利用該框架構建了EspanStereo——一個覆蓋歐洲和拉丁美洲多個西班牙語國家的刻板印象數據集。該數據集不僅收錄了先前文獻中已有記載的刻板印象，還包含了英語中心資源所缺失的文化特定偏見。
該框架的核心是讓LLM生成候選刻板印象，然後由熟悉當地文化的註釋者進行驗證。這種方法能夠有效識別細微的、地區特有的偏見，同時大幅降低人工註釋成本。研究團隊使用EspanStereo對支持西班牙語的LLM進行了評估，結果發現模型在不同國家之間表現出顯著的刻板印象行為差異，這強烈表明需要採用更文化紮根的評估方法。
該研究發表於EMNLP 2025主會，論文arXiv編號為2607.07895，於2026年7月8日提交。Weicheng Ma和John Guerrerio為共同第一作者。除了西班牙語，該框架還可適應其他語言和地區，為構建多語言刻板印象基準提供了一條可擴展的路徑。這項工作拓寬了LLM刻板印象分析的範圍，併為全面的跨文化偏見評估奠定了基礎。