近年來,隨着生成對抗網絡(GAN)和擴散模型等深度生成模型的飛速發展,人臉交換(Face Swapping)技術取得了長足進步。然而,現有方法分散在不同的研究範式之下,且由於缺乏標準化的數據集和評估協議,其性能評價往往缺乏一致性和可比性。同時,先前的綜述多聚焦於更廣義的深度偽造生成或檢測,而將人臉交換作為獨立課題進行系統性梳理的工作尚顯不足。為填補這一空白,由Qi Li、Weining Wang、Shuangjun Du、Bo Peng、Jing Dong、Kun Wang、Zhenan Sun和Ming-Hsuan Yang組成的團隊撰寫了一篇全面綜述,並引入了新的基準數據集。
該研究將已有換臉方法歸納為五大主要範式:基於傳統圖形學的方法、基於生成對抗網絡(GAN)的方法、基於擴散模型的方法、基於自編碼器的方法以及基於神經渲染的方法。論文系統分析了每種範式的核心設計思路、優點以及當前面臨的侷限性,為研究者提供了清晰的技術路線圖。
為促進公平且可控的評估,作者構建了CASIA FaceSwapping基準數據集。該數據集具備以下顯著特點:一是人口統計分佈均衡,涵蓋了不同性別、年齡和人種的樣本;二是顯式包含多種屬性變化,如表情、姿態、光照和遮擋等,從而能夠系統測試換臉方法在不同條件下的表現。同時,研究團隊還制定了標準化的評估協議,用以衡量方法的魯棒性,包括身份保留度、屬性一致性、圖像質量等指標。
在實驗部分,論文選取了各類代表性方法進行廣泛測試。結果表明,不同範式在面對大角度姿態、極端光照、嚴重遮擋等挑戰時呈現顯著的性能差異。例如,基於擴散模型的方法在細節保留上表現優異,但計算開銷較大;而基於GAN的方法則更擅長實時處理,但在屬性控制上仍有改進空間。這些發現為後續研究指明瞭優化方向。
總體而言,這項工作不僅為現有換臉技術提供了統一的視角和原則性的評估框架,還為開發更魯棒、更可控的換臉方法奠定了基礎。更多詳細信息及附加實驗結果可訪問項目網站:https://github.com/CASIA-NLPRAI/face-swapping-survey。