跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

GMoE-FTI:採用真正專家混合機制的通用人臉模板反演方法

文章摘要

該論文提出 GMoE-FTI,一個基於真正混合專家(MoE)機制的通用人臉模板反演框架。研究者先將主流模板提取器按模板分佈歸為五類,分別訓練五個映射專家和一個匹配模塊,再通過加權協同推理生成與 StyleGAN3 兼容的隱編碼,最後端到端聯合微調。在 LFW 基準及七種未見過的模板類型上,該方法平均提升 40% 的 TAR,FAPD 與 FAPC 各降低約 2%。

來源arXiv Computer Vision作者: Zixuan Shen, Zhihua Xia, Kaikai Gan, Peipeng Yu
GMoE-FTI:採用真正專家混合機制的通用人臉模板反演方法
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

人臉識別系統已廣泛部署於日常場景之中。為保護用户隱私,主流方案並不存儲原始人臉圖像,而是保存用於身份核驗的人臉模板。然而,人臉模板反演(Facial Template Inversion,FTI)技術能夠從模板重建出人臉圖像,從而對生物特徵隱私構成威脅。現有反演方法通常只針對單一類型的模板進行擬合,一旦面對訓練中未出現過的模板類型,便難以重建出身份一致的人臉。

為突破這一侷限,論文作者首先對主流模板提取器進行了系統調研,並根據模板在特徵空間中的分佈將其劃分為五類:單位球面分佈、角度線性分佈、嚴格單位球面分佈、錐形分佈以及非均勻超球面分佈。這一觀察構成了設計通用反演框架的基礎——不同提取器產生的模板分佈差異顯著,單一映射網絡難以同時適配。

基於上述分類,作者提出 GMoE-FTI。該框架採用真正的混合專家(Mixture-of-Experts,MoE)機制,與依賴負載均衡的多分支替代方案不同。整體訓練分為三個階段。第一階段,獨立訓練五個映射專家(Mapping Experts,ME)以及一個匹配模塊(Matching Module,MM),使每個專家分別對應一類模板分佈。第二階段進行協同推理:由匹配模塊的輸出為各映射專家的輸出加權,融合生成統一的隱編碼,並保證該編碼與預訓練的 StyleGAN3 生成器兼容,從而重建出人臉圖像。第三階段對所有模塊進行端到端的聯合微調,以強化身份一致性並提升專家之間的協作能力。

實驗部分,作者在 LFW 基準上評估了 GMoE-FTI,結果顯示其性能優於當前最先進的方法。更具説服力的是跨模板泛化測試:研究者在七種主流但訓練中未見過的模板類型上進行了評估,包括 AdaFace、CosFace、CurricularFace、ElasticFace、SphereFace2、SphereFace-R 和 TransFace。結果顯示,GMoE-FTI 平均取得 40% 的 TAR(真實接受率)提升,同時 FAPD 與 FAPC 兩項指標平均各降低約 2%。這些結果驗證了該方法在異構模板之間的通用泛化能力,也表明按模板分佈劃分專家並結合匹配模塊加權融合的思路,能夠有效應對未見模板類型的反演難題。

該論文投稿於 2026 年 10 月 19 日,作者為 Zixuan Shen 等四人,收錄於 arXiv 計算機視覺與模式識別(cs.CV)分類,同時涉及人工智能(cs.AI)方向,編號為 arXiv:2610.33055。

展開要點與分析

文章情報

投資人進階

要點

  • 將主流人臉模板提取器按分佈歸為五類,並據此設計五個映射專家
  • 採用三階段訓練:獨立訓練、加權協同推理、端到端聯合微調
  • 在 AdaFace、CosFace、TransFace 等七種未見過模板上平均 TAR 提升 40%
  • FAPD 與 FAPC 平均各降低約 2%,驗證跨異構模板的通用泛化能力

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。