近年、GAN（Generative Adversarial Network）や拡散モデルなどの深層生成モデルの進歩により、顔交換技術は目覚ましい発展を遂げています。しかしながら、既存の手法は異なるパラダイムに断片的に存在し、標準化されたデータセットや評価プロトコルが欠如しているため、その評価は一貫性を欠いています。また、従来のサーベイは主に広範なディープフェイク生成や検出に焦点を当てており、顔交換を独立した問題として十分に研究してきませんでした。このギャップを埋めるため、Qi Li、Weining Wang、Shuangjun Du、Bo Peng、Jing Dong、Kun Wang、Zhenan Sun、Ming-Hsuan Yangの研究チームは、包括的なサーベイと新しいベンチマークを発表しました。
本論文では、既存の顔交換手法を5つの主要なパラダイム（従来のグラフィックスベース、GANベース、拡散モデルベース、オートエンコーダベース、ニューラルレンダリングベース）に体系的に分類し、それぞれの設計原理、強み、限界を詳細に分析しています。これにより、研究者は技術の全体像を把握しやすくなります。
公平で制御可能な評価を実現するため、著者らはCASIA FaceSwappingベンチマークを構築しました。このデータセットは、性別、年齢、人種などの人口統計分布がバランスよく含まれ、表情、姿勢、照明、遮蔽などの属性変化が明示的にラベル付けされています。さらに、ロバスト性を評価するための標準化プロトコルが確立されており、同一条件下で異なる手法を比較することが可能です。
実験では、代表的な手法を幅広くテストした結果、大角度の姿勢変化、極端な照明、激しい遮蔽などの困難なシナリオにおいて、各パラダイムの性能に明確な差異が認められました。例えば、拡散モデルベースの手法は詳細なテクスチャ保持に優れる一方で計算コストが高く、GANベースの手法はリアルタイム処理に適するものの属性制御に課題を残しています。これらの知見は、今後の研究の方向性を示唆するものです。
総じて、本論文は顔交換技術に統一的な視点と原理に基づく評価フレームワークを提供し、よりロバストで制御可能な手法の開発を促進します。詳細な結果はプロジェクトサイト（https://github.com/CASIA-NLPRAI/face-swapping-survey）で公開されています。