当去偏见适得其反：基于预处理的刻板印象缓解的反直觉副作用
自然语言处理中基于预处理的刻板印象缓解方法，虽然能减少针对目标群体的可测量刻板印象，但常常引发意想不到的副作用——相对于中性基线，其他人口统计群体的刻板印象或反刻板印象可能增加，包括不相关的人口类别。研究在两种模型家族（仅编码器和仅解码器）、多种预处理策略（删除刻板句子、删除群体提及、交换群体引用）以及维基百科上不同数据规模的预训练和后训练中展示了这些副作用。标准基准测试经常忽略这些变化。通过注意力展开分析，观察到这种副作用并未伴随注意力流的巨大变化，使得机械论解释复杂化。本文讨论了评估的影响，提供了可操作的诊断方法，并主张进行关注副作用的透明缓解实践。
近日，一篇题为《当去偏见适得其反：基于预处理的刻板印象缓解的反直觉副作用》的研究论文在ACL 2026 Findings上发表。该研究由Yahan Zheng等人完成，深入揭示了自然语言处理（NLP）中广泛使用的预处理去偏见方法可能产生的意想不到的副作用。这些方法通常涉及在去偏见语料库上进行预训练或后训练，旨在减少模型对特定人口群体的刻板印象。然而，研究团队发现，虽然这些方法确实能有效降低目标群体上的可测量刻板印象，但它们也常常导致其他人口统计群体（包括完全不相关的类别）的刻板印象或反刻板印象相对于中性基线显著增加。这一现象被研究者称为“副作用”。
为了全面验证这一发现，研究团队在两种主流模型家族——仅编码器模型（如BERT）和仅解码器模型（如GPT）——上进行了系统的实验。他们采用了三种不同的预处理策略：删除包含刻板印象的句子、删除群体提及词以及交换群体引用。所有实验均基于维基百科数据，并涵盖了从较小规模到较大规模的不同数据量，同时包括预训练和后训练两种阶段。令人惊讶的是，在几乎所有设置下，副作用都稳定出现，表明这一问题具有普遍的鲁棒性。
更值得注意的是，标准的刻板印象评估基准往往无法捕捉到这些微妙的变化。通过注意力展开分析，研究人员发现这些副作用并不伴随着注意力流的大幅变动，这使得从机械论角度解释这一现象变得异常复杂。这一发现暗示，去偏见方法的影响可能比之前想象的更为隐晦，其背后的机制可能需要进一步探索。
论文不仅揭示了问题的存在，还提供了实用的诊断工具，帮助研究人员在评估过程中检测这些副作用。作者呼吁社区采用更加透明且关注副作用的缓解实践，以确保去偏见技术在实际应用中不会适得其反。该研究对AI伦理评估框架、模型选择以及下游任务中的公平性考量都具有重要的指导意义。