跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

GMoE-FTI:采用真正专家混合机制的通用人脸模板反演方法

文章摘要

该论文提出 GMoE-FTI,一个基于真正混合专家(MoE)机制的通用人脸模板反演框架。研究者先将主流模板提取器按模板分布归为五类,分别训练五个映射专家和一个匹配模块,再通过加权协同推理生成与 StyleGAN3 兼容的隐编码,最后端到端联合微调。在 LFW 基准及七种未见过的模板类型上,该方法平均提升 40% 的 TAR,FAPD 与 FAPC 各降低约 2%。

来源arXiv Computer Vision作者: Zixuan Shen, Zhihua Xia, Kaikai Gan, Peipeng Yu
GMoE-FTI:采用真正专家混合机制的通用人脸模板反演方法
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

人脸识别系统已广泛部署于日常场景之中。为保护用户隐私,主流方案并不存储原始人脸图像,而是保存用于身份核验的人脸模板。然而,人脸模板反演(Facial Template Inversion,FTI)技术能够从模板重建出人脸图像,从而对生物特征隐私构成威胁。现有反演方法通常只针对单一类型的模板进行拟合,一旦面对训练中未出现过的模板类型,便难以重建出身份一致的人脸。

为突破这一局限,论文作者首先对主流模板提取器进行了系统调研,并根据模板在特征空间中的分布将其划分为五类:单位球面分布、角度线性分布、严格单位球面分布、锥形分布以及非均匀超球面分布。这一观察构成了设计通用反演框架的基础——不同提取器产生的模板分布差异显著,单一映射网络难以同时适配。

基于上述分类,作者提出 GMoE-FTI。该框架采用真正的混合专家(Mixture-of-Experts,MoE)机制,与依赖负载均衡的多分支替代方案不同。整体训练分为三个阶段。第一阶段,独立训练五个映射专家(Mapping Experts,ME)以及一个匹配模块(Matching Module,MM),使每个专家分别对应一类模板分布。第二阶段进行协同推理:由匹配模块的输出为各映射专家的输出加权,融合生成统一的隐编码,并保证该编码与预训练的 StyleGAN3 生成器兼容,从而重建出人脸图像。第三阶段对所有模块进行端到端的联合微调,以强化身份一致性并提升专家之间的协作能力。

实验部分,作者在 LFW 基准上评估了 GMoE-FTI,结果显示其性能优于当前最先进的方法。更具说服力的是跨模板泛化测试:研究者在七种主流但训练中未见过的模板类型上进行了评估,包括 AdaFace、CosFace、CurricularFace、ElasticFace、SphereFace2、SphereFace-R 和 TransFace。结果显示,GMoE-FTI 平均取得 40% 的 TAR(真实接受率)提升,同时 FAPD 与 FAPC 两项指标平均各降低约 2%。这些结果验证了该方法在异构模板之间的通用泛化能力,也表明按模板分布划分专家并结合匹配模块加权融合的思路,能够有效应对未见模板类型的反演难题。

该论文投稿于 2026 年 10 月 19 日,作者为 Zixuan Shen 等四人,收录于 arXiv 计算机视觉与模式识别(cs.CV)分类,同时涉及人工智能(cs.AI)方向,编号为 arXiv:2610.33055。

展开要点与分析

文章情报

投资人进阶

要点

  • 将主流人脸模板提取器按分布归为五类,并据此设计五个映射专家
  • 采用三阶段训练:独立训练、加权协同推理、端到端联合微调
  • 在 AdaFace、CosFace、TransFace 等七种未见过模板上平均 TAR 提升 40%
  • FAPD 与 FAPC 平均各降低约 2%,验证跨异构模板的通用泛化能力

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。