近年来,随着生成对抗网络(GAN)和扩散模型等深度生成模型的飞速发展,人脸交换(Face Swapping)技术取得了长足进步。然而,现有方法分散在不同的研究范式之下,且由于缺乏标准化的数据集和评估协议,其性能评价往往缺乏一致性和可比性。同时,先前的综述多聚焦于更广义的深度伪造生成或检测,而将人脸交换作为独立课题进行系统性梳理的工作尚显不足。为填补这一空白,由Qi Li、Weining Wang、Shuangjun Du、Bo Peng、Jing Dong、Kun Wang、Zhenan Sun和Ming-Hsuan Yang组成的团队撰写了一篇全面综述,并引入了新的基准数据集。
该研究将已有换脸方法归纳为五大主要范式:基于传统图形学的方法、基于生成对抗网络(GAN)的方法、基于扩散模型的方法、基于自编码器的方法以及基于神经渲染的方法。论文系统分析了每种范式的核心设计思路、优点以及当前面临的局限性,为研究者提供了清晰的技术路线图。
为促进公平且可控的评估,作者构建了CASIA FaceSwapping基准数据集。该数据集具备以下显著特点:一是人口统计分布均衡,涵盖了不同性别、年龄和人种的样本;二是显式包含多种属性变化,如表情、姿态、光照和遮挡等,从而能够系统测试换脸方法在不同条件下的表现。同时,研究团队还制定了标准化的评估协议,用以衡量方法的鲁棒性,包括身份保留度、属性一致性、图像质量等指标。
在实验部分,论文选取了各类代表性方法进行广泛测试。结果表明,不同范式在面对大角度姿态、极端光照、严重遮挡等挑战时呈现显著的性能差异。例如,基于扩散模型的方法在细节保留上表现优异,但计算开销较大;而基于GAN的方法则更擅长实时处理,但在属性控制上仍有改进空间。这些发现为后续研究指明了优化方向。
总体而言,这项工作不仅为现有换脸技术提供了统一的视角和原则性的评估框架,还为开发更鲁棒、更可控的换脸方法奠定了基础。更多详细信息及附加实验结果可访问项目网站:https://github.com/CASIA-NLPRAI/face-swapping-survey。