ディープフェイク検出の分野は深刻な課題に直面している:学術ベンチマークでほぼ完璧なスコアを達成する検出器が、実世界のコンテンツではしばしば機能不全に陥るのである。最近の大規模な実環境評価では、最先端のオープンソースモデルでAUC(曲線下面積)が45~50%も低下することが報告されている。研究者らは、このギャップは構造的なものであり、静的検出器は固定された訓練セットで一度だけ訓練されるため、進化し続ける生成技術のフロンティアに対応できないと主張する。
この問題に対処するため、論文はBitMind Forensics(BMF)を提案する。BMFはBittensor SN34(オープンな敵対的競争プラットフォーム)を通じて継続的に訓練される検出システムである。競争メカニズムを活用して訓練分布を絶えず更新し、新たな生成手法に適応する。研究チームは、画像、一般動画、および顔動画のチェックポイントからなる過去のエクスポートバージョンを評価し、19の公開データセットで包括的なテストを実施した。これには従来の顔交換スイート(FaceForensics++、Celeb-DF v1/v2/++、DFDCなど)や、最近の実環境およびAI生成メディアのベンチマーク(Sumsub、Deepfake-Eval-2024、WildRFなど)が含まれる。
結果は印象的である。BMFはSumsubのオリジナル画像でAUC 0.936を達成し、4つの操作条件すべて(合計140万画像)での平均AUCは0.872であった。JPEG圧縮(AUC 0.855)やダウンスケーリング(AUC 0.799)に対しても頑健性を示し、GPENによる強調処理後には検出性能が0.996まで向上した。Deepfake-Eval-2024ベンチマークでは、画像タスクで最良の商用検出器と同等(0.915対0.90)、動画タスクではそれを上回り(0.822対0.79)、最良のオープンソースモデル(それぞれ0.56と0.63)を大きく凌駕した。さらに、21の生成器を含むAI画像パネルでAUC 0.991、GenVidBenchでAUC 0.918を達成し、DFDCとCeleb-DF v2ではFaceForensics++で訓練された従来手法を大幅に上回った(それぞれ0.947対0.843、0.9985対0.956)。これらの比較はすべて汚染監査済みである。
時系列研究により、継続的学習の利点がさらに裏付けられた:時間の経過とともに、後続のエクスポートバージョンは、静的ベースラインの訓練に含まれていなかった新しい生成器からの保留メディアに対して、画像でAUC 0.842から0.902、動画で0.864から0.936へと着実に性能を向上させた。研究チームは評価ツールを公開し、論文発表時点でプロダクションAPIが独立検証のために正確な評価スナップショットを提供している。この研究は、ディープフェイク検出に動的でスケーラブルな新しいパラダイムを提供し、研究室のベンチマークと実運用のギャップを埋める可能性を示している。