現在の顔ビデオ偽造検出器は、検出精度を高めるために広いバックボーンやデュアルストリーム構造を採用するのが一般的である。しかし、arXivに新たに公開された論文は、まったく異なるアプローチを提案している。軽量な融合モジュールを用いて2つの手工特徴を組み合わせることで、より小さなモデル規模で高い検出性能を実現できることを示したのだ。この研究では、Xceptionベースラインモデル(約2190万パラメータ)を基に、LFWSとLFWLという2つの検出器を構築している。
LFWSはXceptionに1x1畳み込みを追加し、低周波ウェーブレットデノイズ特徴(WDF)と、空間-位相浅層学習(SPSL)から得られる位相スペクトルチャネルを融合する。LFWLは同様の方法で、WDFと局所二値パターン(LBP)を統合する。驚くべきことに、この追加モジュールはわずか292個のパラメータしか導入せず、総パラメータ数は2190万に保たれる。これはF3Netの2250万より少なく、SRM(5530万)の半分未満である。
この最小限のオーバーヘッドにもかかわらず、融合モデルは複数のベンチマークで大幅な改善を達成した。FaceForensics++データセットでは、平均AUCがベースラインの74.8%から78.6%へと3.8ポイント向上し、DFDC-Previewでは70.5%から74.9%へと4.4ポイント改善した。さらに、8つの公開ベンチマークテストにおいて、これらのモデルは追加データやテスト時拡張なしで、F3Net、SRM、SPSLを一貫して上回っている。
研究者らは、これらの結果が、注意深く組み合わせた手工特徴を軽量融合モジュールで統合することで、周波数ベースの検出器と同等の堅牢性を大幅に低いコストで提供できることを示していると指摘する。この発見は、顔ビデオ偽造検出においてモデル規模を追求する現在の設計傾向に疑問を投げかけ、コミュニティが「規模駆動型」の設計選択を再評価する必要性を示唆している。論文は全13ページで、6つの図と3つの表を含み、arXivのコンピュータビジョンとパターン認識(cs.CV)分類に収録され、機械学習(cs.LG)とマルチメディア(cs.MM)分野にも関連している。