跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

基於分割引導的空間索引實現可泛化且可解釋的深度偽造檢測

文章摘要

提出一種分割引導的空間索引方法,通過語義選擇面部區域補丁(而非整體特徵)進行深度偽造檢測,在Celeb-DF v2上達到0.905 AUC,優於現有方法,且無需微調或目標域數據。

來源arXiv Computer Vision作者: Izaldein Al-Zyoud, Abdulmotaleb El Saddik
基於分割引導的空間索引實現可泛化且可解釋的深度偽造檢測
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

深度偽造檢測技術面臨兩大核心挑戰:泛化性(在未見過的偽造方法上仍能有效檢測)和可解釋性(讓檢測結果能夠被人類理解)。現有的主流方法通常採用“先池化後分類”的流程:將人臉圖像分割成多個補丁令牌,通過Transformer編碼器提取所有令牌的特徵,然後將所有令牌的特徵池化成一個全局特徵,最後基於該全局特徵進行分類。然而,這種設計會稀釋與偽造操作相關的局部證據,因為全局池化將來自不同面部區域的信息混合在一起,使得關鍵操作痕跡被大量無關信號掩蓋。

來自渥太華大學的研究人員提出了一種全新的範式——分割引導的空間索引(Segmentation-Guided Spatial Indexing),該方法徹底反轉了標準流程。其核心思想是:先利用語義分割技術選擇與人臉操作最相關的區域補丁令牌,例如嘴部、眼部等,然後僅對所選區域進行池化和分類。具體實現中,作者使用一個凍結的FaRL(Facial Attribute Recognition and Localization)解析器,為DINOv3 ViT-L/16模型生成的每個補丁令牌分配語義標籤,丟棄非目標區域的令牌,最後通過一個線性探針對保留的令牌進行分類決策。

這種空間索引機制巧妙地利用了DINOv3模型的內在特性:DINOv3在預訓練過程中自發地學習到了補丁級別的空間一致性,這一性質正是其能夠實現湧現分割(emergent segmentation)的基礎。通過空間索引,線性探針可以專注於一個更加純淨的局部子空間,其中與操作相關的證據受到全臉線索的干擾大大降低。更重要的是,區域歸因是結構性的:當嘴部模型預測為假時,決策僅基於嘴部令牌,而不是像傳統方法那樣依賴疊加的顯著性圖,這提供了天然的可解釋性。

實驗結果表明,該方法在標準深度偽造檢測基準Celeb-DF v2上取得了卓越性能。嘴部索引的線性探針實現了0.905的AUC,分別比LipForensics和Xception高出8.1個百分點和16.9個百分點。值得注意的是,這一性能是在完全不微調DINOv3和FaRL模型、且不使用任何目標域數據的情況下取得的,展現了極強的泛化能力。消融實驗進一步揭示了方法的機制:如果使用DINOv3的[CLS]令牌替代區域選擇,AUC會驟降26.4個百分點;如果用FaRL特徵替代DINOv3特徵,AUC會下降20.9個百分點。這充分説明DINOv3的自監督表示和空間索引機制兩者對於最終性能都是獨立且必要的,單獨使用其中任何一個都無法接近完整系統的效果。

這項工作為深度偽造檢測領域提供了一條新的技術路徑:通過結構化的區域選擇來提升泛化性和可解釋性,而不必依賴複雜的訓練流程或外部數據。未來,該方法可望被集成到現有的檢測管道中,或者作為預處理的篩選模塊,從而在實際部署中提高檢測系統的魯棒性和可信度。

展開要點與分析

文章情報

工程師進階

要點

  • 反轉標準流程:先選擇語義有意義的補丁令牌,再池化分類。
  • 使用凍結的FaRL解析器為DINOv3 ViT-L/16補丁分配語義標籤,丟棄非目標令牌。
  • 在Celeb-DF v2上,嘴部索引探測器AUC 0.905,比LipForensics高8.1個百分點,比Xception高16.9個百分點。
  • 消融實驗表明DINOv3表示和空間索引兩者缺一不可。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。