大規模言語モデル（LLM）は、ウェブ規模のコーパスで学習する際に、機密性の高い訓練データを記憶してしまう可能性があり、深刻なプライバシーリスクを引き起こします。差分プライバシー（DP）は、個々のデータポイントの影響を訓練中に制限する原則的なフレームワークとして注目されていますが、DPとLLMにおける社会的バイアスの関係はまだ十分に理解されていません。この問題を解明するため、本論文ではDP-SGDで事前学習されたLLMにおける社会的バイアスを体系的に評価し、DPモデルを非DPベースラインと4つの補完的なパラダイム（文スコアリング、テキスト補完、表形式分類、質問応答）で比較しました。
実験の結果、DPは文スコアリングタスクにおいて、制御された尤度比較によって測定されるバイアスを低減することがわかりました。しかし、この改善は他のタスクには一般化されず、テキスト補完、表形式分類、質問応答ではDPモデルと非DPモデルの間に明確なバイアス差は見られませんでした。さらに重要なことに、ロジットレベル（モデル内部の出力確率）でのバイアス低減が、最終的な出力テキストでのバイアス低減に必ずしもつながらないという乖離が明らかになりました。また、モデルの記憶化を低減しても不公平性が自動的に減少するわけではなく、プライバシー保護と公平性は独立した目標であることが示唆されました。
この研究の主な貢献は、LLMの公平性を評価する際には複数のパラダイムを用いた多面的な評価が不可欠であることを実証した点にあります。単一のタスクや指標に依存すると、誤った結論を導く可能性があります。著者らは、今後のLLM安全性研究では、プライバシーと公平性の両方を考慮し、多様な評価ベンチマークを採用することを推奨しています。この結果は、差分プライバシーが公平性に与える影響がタスク依存的であり、一律の効果を期待できないことを示唆しており、今後の研究と実践に重要な示唆を与えます。