ディープフェイク生成器が知覚的に区別できないほど進歩するにつれ、信頼性の高い検出が重要になっている。しかし、ベンチマークで高スコアを獲得する検出器は、実世界ではしばしば失敗する。懸念すべきフィードバックループが生じている。ベンチマークがますます複雑で工学的な検出器を促進する一方で、それらのベンチマークが実世界のディープフェイクを反映していなければ、その複雑さは全く間違った問題を解決している可能性がある。これは、より根本的な問いを提起する。これらのベンチマークは実際に何を測定しているのか？
この問いに答えるため、研究者らはビデオ、画像、音声のディープフェイクベンチマークを、意図的に単純な診断手法で監査した。中心となるアイデアは、凍結された汎用自己教師あり表現に対する線形プローブが専用検出器の性能に近づくならば、そのベンチマークは主に一般的なモダリティ理解を報酬として与えており、フォレンジック理解ではないということだ。これには二つの意味がある。第一に、ベンチマークが現実的な脅威モデルを反映していない可能性がある。第二に、線形プローブが近づく専用検出器が本当にフォレンジック理解を学習しているのかという疑問を提起する。
研究の観察によれば、3つのモダリティすべてにおいて、汎用自己教師あり表現上の線形プローブは専用検出器の性能に密接に近づく。さらに、生成器レベルの難易度は、同じ表現空間におけるFrechet幾何学によって部分的に説明できることが示された。
これらの結果は、ディープフェイク検出に対する「ベンチマーク監査」の視点を支持する。高いスコアをフォレンジック理解の証拠として解釈する前に、ベンチマークのどの程度がすでに汎用表現によって解決されているかを問う価値がある。この論文は2026年6月24日に提出され、14ページ、9つの図を含み、コンピュータビジョンとパターン認識の分野に属する。