大型語言模型（LLM）在網際網路規模的資料集上訓練時，往往會無意中記憶敏感的個人資訊，從而引發嚴重的隱私洩露風險。差分隱私（Differential Privacy，簡稱DP）作為一種嚴格的數學框架，透過限制單個訓練樣本對模型引數的影響程度，為隱私保護提供了理論可證的手段。然而，在LLM領域，差分隱私與社會偏見之間的相互作用關係仍是一個尚未被充分探索的問題。針對這一空白，來自研究機構的一支團隊開展了一項系統的實證研究，對使用差分隱私隨機梯度下降（DP-SGD）方法預訓練的LLM進行了全面的社會偏見評估。
研究者們採用了四種互補的評估正規化來捕捉偏見的不同側面：句子評分（透過控制似然比較來衡量語義偏見）、文本補全（評估生成文本中的刻板印象）、表格分類（檢測結構化資料中的歧視性模式）以及問答（考察知識檢索中的偏見）。實驗結果顯示，在句子評分任務中，DP模型相比非DP基線模型表現出顯著更少的偏見，表明差分隱私能夠在一定程度上緩解這類任務中的不公平傾向。然而，這種積極效果並未泛化到文本補全、表格分類或問答任務中，在這些任務上DP模型與非DP模型之間的偏見水平沒有顯著差異，甚至在某些情況下DP模型的輸出反而表現出更大的偏見。
進一步的分析揭示了一個關鍵發現：在模型的logit層（即內部機率輸出層）上觀察到的偏見減少，並未完全轉化為最終輸出文本中的偏見減少。這種logit層面與輸出層面之間的不一致性意味著，僅僅依賴模型內部表徵的評估可能會得出過於樂觀的結論。此外，研究還發現，降低模型對訓練資料的記憶化程度（即增強隱私保護）並不自動帶來公平性的提升。也就是說，隱私保護與公平性是兩個獨立的最佳化目標，不能相互替代。
該研究的核心貢獻在於強調了多正規化評估的必要性。如果僅使用單一任務或單一指標來衡量LLM的公平性，很可能會得到片面甚至具有誤導性的結果。研究者呼籲，未來的LLM安全研究應當同時關注隱私保護和公平性兩個維度，並採用多樣化的評估基準來全面衡量模型的社會影響。這一工作為在隱私約束下構建更公平的LLM提供了重要的實驗依據和思考方向。