視覚的反実仮説説明は、人工知能の解釈可能性における重要な研究分野であり、「この画像に最小限の変更を加えることで、モデルの予測を反転させることができるか？」という問いに答えることを目的としている。このタスクは、医療画像診断や自動運転などの安全が重要な領域で特に重要性を増している。これらの分野では、モデルの判断が検証可能で説明可能であることが求められ、反実仮説画像は具体的な「もしも」の仮説分析を提供する。
既存の拡散モデルベースの手法は、現実的な編集を生成できるものの、多くの場合、編集プロセスを導くために外部の分類器に依存している。これらの外部分類器は、様々なノイズレベルの画像に対してロバストに動作する必要があり、そのためシステム全体が脆弱になり、実際の展開で信頼性の高い説明を提供するのが困難になる。根本的な問題は、分類器と生成モデルが分離されており、分類器がノイズを含む画像を正確に処理する必要がある一方、拡散モデルはサンプリング中にノイズを生成するため、不安定な依存関係が生じることである。
この課題に対処するため、Yassine Oueslatiら4人の著者からなる研究チームは、C-VCE（Concept-based Visual Counterfactual Explanations）を提案した。これは、概念ボトルネック層を介して分類器を生成モデルの内部に直接組み込む新しい拡散フレームワークである。概念ボトルネック層により、モデルは人間が解釈可能な意味的特徴（例えば「ひげがある」「眼鏡をかけている」「笑顔」など）を利用して反実仮説画像の生成を導くことができ、ピクセルレベルの編集を行う別個のノイズロバスト分類器に依存する必要がなくなる。この設計により、追加の分類器への依存が根本的に排除され、プロセス全体がよりシンプルで安定したものになる。
C-VCEの動作は直感的である。ユーザーはサンプリング中に特定の意味概念を自由にオンまたはオフにできる（例えば「笑顔」から「無表情」に切り替える）。その後、モデルはその概念に関連する画像領域のみを最小限に調整し、画像の他の部分は保持する。さらに、異なる特徴間の相関関係（例えば、髪型を変えると髪の色にも影響が出ることがある）も尊重される。編集を小さく制御するために、研究者らは2つの重要な要素を導入した。1つは、「予測を変更する」ことと「元の画像に近づける」ことのバランスを取る単純な確率論的正則化器であり、もう1つは、修正を最も関連性の高い領域に限定する勾配ベースのマスクである。
CelebAデータセットなどのベンチマークでは、C-VCEは優れた性能を示している。予測反転率を同等以上に維持しながら、生成される反実仮説画像は視覚的により元の入力に近く、独立したノイズ画像分類器に依存するベースライン手法と比較して歪みが大幅に少ない。さらに、C-VCEによって生成される画像はより自然であり、外部分類器の不安定性に起因する異常な編集が回避される。
これらの特性により、C-VCEは視覚システムにとって実用的なツールとなる。ユーザーは追加のノイズロバスト分類器を信頼する必要なく、高レベルの意味概念を操作するだけで具体的な反実仮説画像を取得でき、モデルの決定境界をより直感的に理解できるようになる。より広く見ると、この研究結果は、生成モデルの内部概念層を露出・制御することが、強力な深層生成モデルをより理解しやすく安全に使用するための有望な方法であることを示唆している。本論文は第4回世界説明可能人工知能会議（XAI 2026）に採択されており、2026年に正式発表される予定である。