當去偏見適得其反：基於預處理的刻板印象緩解的反直覺副作用
自然語言處理中基於預處理的刻板印象緩解方法，雖然能減少針對目標群體的可測量刻板印象，但常常引發意想不到的副作用——相對於中性基線，其他人口統計群體的刻板印象或反刻板印象可能增加，包括不相關的人口類別。研究在兩種模型家族（僅編碼器和僅解碼器）、多種預處理策略（刪除刻板句子、刪除群體提及、交換群體引用）以及維基百科上不同資料規模的預訓練和後訓練中展示了這些副作用。標準基準測試經常忽略這些變化。透過注意力展開分析，觀察到這種副作用並未伴隨注意力流的巨大變化，使得機械論解釋複雜化。本文討論了評估的影響，提供了可操作的診斷方法，並主張進行關注副作用的透明緩解實踐。
近日，一篇題為《當去偏見適得其反：基於預處理的刻板印象緩解的反直覺副作用》的研究論文在ACL 2026 Findings上發表。該研究由Yahan Zheng等人完成，深入揭示了自然語言處理（NLP）中廣泛使用的預處理去偏見方法可能產生的意想不到的副作用。這些方法通常涉及在去偏見語料庫上進行預訓練或後訓練，旨在減少模型對特定人口群體的刻板印象。然而，研究團隊發現，雖然這些方法確實能有效降低目標群體上的可測量刻板印象，但它們也常常導致其他人口統計群體（包括完全不相關的類別）的刻板印象或反刻板印象相對於中性基線顯著增加。這一現象被研究者稱為“副作用”。
為了全面驗證這一發現，研究團隊在兩種主流模型家族——僅編碼器模型（如BERT）和僅解碼器模型（如GPT）——上進行了系統的實驗。他們採用了三種不同的預處理策略：刪除包含刻板印象的句子、刪除群體提及詞以及交換群體引用。所有實驗均基於維基百科資料，並涵蓋了從較小規模到較大規模的不同資料量，同時包括預訓練和後訓練兩種階段。令人驚訝的是，在幾乎所有設定下，副作用都穩定出現，表明這一問題具有普遍的魯棒性。
更值得注意的是，標準的刻板印象評估基準往往無法捕捉到這些微妙的變化。透過注意力展開分析，研究人員發現這些副作用並不伴隨著注意力流的大幅變動，這使得從機械論角度解釋這一現象變得異常複雜。這一發現暗示，去偏見方法的影響可能比之前想象的更為隱晦，其背後的機制可能需要進一步探索。
論文不僅揭示了問題的存在，還提供了實用的診斷工具，幫助研究人員在評估過程中檢測這些副作用。作者呼籲社群採用更加透明且關注副作用的緩解實踐，以確保去偏見技術在實際應用中不會適得其反。該研究對AI倫理評估框架、模型選擇以及下游任務中的公平性考量都具有重要的指導意義。