MorphUNet:基于扩散模型的面部变形攻击中的α控制生物特征传输
MorphUNet是一种新型的扩散变形框架,通过α控制的生物特征传输生成可验证多个身份的面部变形图像,对边境控制和身份验证系统构成威胁。该模型利用CLIP外观和ArcFace身份信息,通过可训练的双交叉注意力机制在去噪过程中分别处理每个父本的生物特征,并结合DDIM逆潜在插值和弱父本引导选择,有效防止身份坍缩。在FEI和FRLL数据集上的评估显示,MorphUNet在变形攻击潜力(MAP)和图像质量(FID)上均优于现有方法,且跨数据集检测难度极高。
面部变形攻击通过生成可同时验证多个身份的人脸图像,对边境控制和身份认证系统构成严重威胁。针对这一问题,研究人员提出了MorphUNet——一种基于扩散模型的新型变形框架,将双父本生成问题重新定义为α控制的生物特征传输。
MorphUNet的核心创新在于其生物特征传输层(Biometric Transport Layer),该层在U-Net去噪过程中通过可训练的父本分离双交叉注意力机制,分别处理每个父本的身份特征。具体而言,每个父本被分解为CLIP外观信息和ArcFace身份证据,并映射到CLIP兼容的令牌空间中,以独立的身份感知令牌库形式保存。在去噪的每一步,网络同时关注两个父本的特征,并通过变形参数α将残差组合,实现α控制下的身份融合。此外,DDIM逆潜在插值提供了连贯的初始去噪状态,而弱父本引导选择策略则优先选择最大化较低父本相似度得分的变形结果,从而减少向某一父本的坍缩。
在实验评估中,MorphUNet与三种最先进的基线方法(StableMorph、MIPGAN-II和MorDIFF)在FEI和FRLL数据集上进行了比较,使用了六种不同的识别系统。结果显示,MorphUNet在至少三个系统被一个变形样本欺骗的条件下,变形攻击潜力(MAP)达到最佳:FEI上为0.919,FRLL上为0.886。同时,MorphUNet在两个数据集上均取得了最优的FID分数(FEI: 35.19, FRLL: 44.86),表明其生成的图像质量更高。在相同数据集设置下,MorphUNet在5% BPCER下也获得了最高的APCER;在跨数据集迁移场景中,其检测难度极高,APCER在FEI上高达0.996,在FRLL上为0.946。
此外,研究还引入了基于CFD(CelebFlow Dataset)的未见身份压力测试,涵盖性别和种族配对、人口统计偏移以及父本相似度极端情况。全面的评估包括MAP、MAD、单系统漏洞、身份平衡、图像质量、顶/底相似度压力测试以及CFD未见身份鲁棒性分析。MorphUNet在所有测试中均展现出卓越的性能,进一步证实了其在面部变形攻击中的有效性。