深度偽造檢測技術面臨兩大核心挑戰:泛化性(在未見過的偽造方法上仍能有效檢測)和可解釋性(讓檢測結果能夠被人類理解)。現有的主流方法通常採用“先池化後分類”的流程:將人臉圖像分割成多個補丁令牌,通過Transformer編碼器提取所有令牌的特徵,然後將所有令牌的特徵池化成一個全局特徵,最後基於該全局特徵進行分類。然而,這種設計會稀釋與偽造操作相關的局部證據,因為全局池化將來自不同面部區域的信息混合在一起,使得關鍵操作痕跡被大量無關信號掩蓋。
來自渥太華大學的研究人員提出了一種全新的範式——分割引導的空間索引(Segmentation-Guided Spatial Indexing),該方法徹底反轉了標準流程。其核心思想是:先利用語義分割技術選擇與人臉操作最相關的區域補丁令牌,例如嘴部、眼部等,然後僅對所選區域進行池化和分類。具體實現中,作者使用一個凍結的FaRL(Facial Attribute Recognition and Localization)解析器,為DINOv3 ViT-L/16模型生成的每個補丁令牌分配語義標籤,丟棄非目標區域的令牌,最後通過一個線性探針對保留的令牌進行分類決策。
這種空間索引機制巧妙地利用了DINOv3模型的內在特性:DINOv3在預訓練過程中自發地學習到了補丁級別的空間一致性,這一性質正是其能夠實現湧現分割(emergent segmentation)的基礎。通過空間索引,線性探針可以專注於一個更加純淨的局部子空間,其中與操作相關的證據受到全臉線索的干擾大大降低。更重要的是,區域歸因是結構性的:當嘴部模型預測為假時,決策僅基於嘴部令牌,而不是像傳統方法那樣依賴疊加的顯著性圖,這提供了天然的可解釋性。
實驗結果表明,該方法在標準深度偽造檢測基準Celeb-DF v2上取得了卓越性能。嘴部索引的線性探針實現了0.905的AUC,分別比LipForensics和Xception高出8.1個百分點和16.9個百分點。值得注意的是,這一性能是在完全不微調DINOv3和FaRL模型、且不使用任何目標域數據的情況下取得的,展現了極強的泛化能力。消融實驗進一步揭示了方法的機制:如果使用DINOv3的[CLS]令牌替代區域選擇,AUC會驟降26.4個百分點;如果用FaRL特徵替代DINOv3特徵,AUC會下降20.9個百分點。這充分説明DINOv3的自監督表示和空間索引機制兩者對於最終性能都是獨立且必要的,單獨使用其中任何一個都無法接近完整系統的效果。
這項工作為深度偽造檢測領域提供了一條新的技術路徑:通過結構化的區域選擇來提升泛化性和可解釋性,而不必依賴複雜的訓練流程或外部數據。未來,該方法可望被集成到現有的檢測管道中,或者作為預處理的篩選模塊,從而在實際部署中提高檢測系統的魯棒性和可信度。