反事実的に公平な画像分類器は集団的公平性を満たすか？——理論的・実証的研究
本研究は、画像分類における反事実的公平性（CF）と集団的公平性（GF）の関係を探る。高品質な画像編集を用いて新たなデータセットを構築し、画像分類ではCFがGFを含意しないことを発見。これは表形式データとは逆の結果であり、その原因としてセンシティブ属性と相関する潜在属性Gの存在を理論的に示す。提案手法CKDによりGへの依存を低減し、CFを達成するモデルがGFも満たすことを実証。
近年、アルゴリズムの公平性は機械学習において重要なテーマであり、反事実的公平性（Counterfactual Fairness, CF）と集団的公平性（Group Fairness, GF）はその中心的概念である。しかし、CFとGFの正確な関係は、特に画像分類タスクにおいては未解明のままである。その理由の一つは、CFの評価に不可欠なセンシティブ属性に関する反事実的サンプル（例：同一人物だが異なる第二次性徴を持つ写真）を既存の画像から収集することが困難なためである。
この課題に対し、本研究では高品質な画像編集手法を用いて反事実的サンプルを生成し、人間のアノテーターによる慎重なラベル付けを経て、2つの新しい画像データセット——\ourscelebと\ourslfw——を構築した。これらのデータセットは、広く使われている画像GFベンチマークに基づいており、CFとGFを同時に評価できる。実験の結果、表形式データセットでの先行研究とは異なり、画像分類ではCFがGFを含意しないことが観察された。
研究者らは理論的に、この原因がセンシティブ属性と相関するが因果関係はない潜在属性Gの存在にあると示した（例：第二次性徴は髪の長さと高い相関がある）。この観察から、センシティブ属性との相関を緩和するためのシンプルなベースライン手法——反事実的知識蒸留（Counterfactual Knowledge Distillation, CKD）——を提案した。\ourscelebと\ourslfwにおける広範な実験結果は、CKDを用いてGへの依存を低減することに成功すれば、CFを達成するモデルがGFも満たすことを実証している。
この発見は、より公平な画像分類器の設計に新たな視点を提供し、公平性評価において複数の公平性概念を総合的に考慮する重要性を強調する。本論文はNeurIPS 2024 Track Datasets and Benchmarksに採択されており、著者のSangwon Jungらはコードとデータを公開し、今後の研究を促進している。