大型语言模型（LLM）在互联网规模的数据集上训练时，往往会无意中记忆敏感的个人信息，从而引发严重的隐私泄露风险。差分隐私（Differential Privacy，简称DP）作为一种严格的数学框架，通过限制单个训练样本对模型参数的影响程度，为隐私保护提供了理论可证的手段。然而，在LLM领域，差分隐私与社会偏见之间的相互作用关系仍是一个尚未被充分探索的问题。针对这一空白，来自研究机构的一支团队开展了一项系统的实证研究，对使用差分隐私随机梯度下降（DP-SGD）方法预训练的LLM进行了全面的社会偏见评估。
研究者们采用了四种互补的评估范式来捕捉偏见的不同侧面：句子评分（通过控制似然比较来衡量语义偏见）、文本补全（评估生成文本中的刻板印象）、表格分类（检测结构化数据中的歧视性模式）以及问答（考察知识检索中的偏见）。实验结果显示，在句子评分任务中，DP模型相比非DP基线模型表现出显著更少的偏见，表明差分隐私能够在一定程度上缓解这类任务中的不公平倾向。然而，这种积极效果并未泛化到文本补全、表格分类或问答任务中，在这些任务上DP模型与非DP模型之间的偏见水平没有显著差异，甚至在某些情况下DP模型的输出反而表现出更大的偏见。
进一步的分析揭示了一个关键发现：在模型的logit层（即内部概率输出层）上观察到的偏见减少，并未完全转化为最终输出文本中的偏见减少。这种logit层面与输出层面之间的不一致性意味着，仅仅依赖模型内部表征的评估可能会得出过于乐观的结论。此外，研究还发现，降低模型对训练数据的记忆化程度（即增强隐私保护）并不自动带来公平性的提升。也就是说，隐私保护与公平性是两个独立的优化目标，不能相互替代。
该研究的核心贡献在于强调了多范式评估的必要性。如果仅使用单一任务或单一指标来衡量LLM的公平性，很可能会得到片面甚至具有误导性的结果。研究者呼吁，未来的LLM安全研究应当同时关注隐私保护和公平性两个维度，并采用多样化的评估基准来全面衡量模型的社会影响。这一工作为在隐私约束下构建更公平的LLM提供了重要的实验依据和思考方向。