見ても信じられない——検索基盤型動画偽情報検出のためのベンチマーク
本論文では、検索基盤型動画偽情報検出のためのベンチマーク「EVID-Bench」を紹介する。222本の動画から構成され、AI生成、単一ソース編集、複数ソース編集の3カテゴリ9タイプの操作を網羅する。最高性能のモデルでもポイントレベル精度61.43%、動画レベル精度43.24%に留まり、AI生成操作が特に困難であることが示された。
近年、動画偽情報は意味的・証拠レベルの操作へと高度化している。本物の映像が選択的に編集されたり、時間順序を並べ替えられたり、複数ソースから切り貼りされたり、AI生成コンテンツで補強されて虚偽のストーリーが作られる。このような証拠に依存した操作は、入力動画だけでは信頼性を検証できない。なぜなら、欠落、再配置、置換、文脈変更された証拠は動画の外部にあるからだ。この課題に対し、Tao Yuら20名の研究者はEVID-Benchを提案する。これは、システムがオープンウェブを検索して関連動画を見つけ、クロス動画比較によって偽情報を特定する検索基盤型動画偽情報検出のベンチマークである。
EVID-Benchは222本の動画で構成され、9タイプの操作を3カテゴリ（AI生成：ディープフェイク、合成シーンなど；単一ソース編集：時間トリミング、フレーム削除など；複数ソース編集：スプライシング、オーバーレイなど）に分類する。全サンプルは、目視検査や最先端モデルでは検出不可能であることが確認されている。研究チームは検索拡張検証ベースラインを用いて9つの最先端マルチモーダルモデルを評価した。最高性能のシステムでもポイントレベル精度は61.43%、動画レベル精度は43.24%に留まり、AI生成操作が特に困難であることが明らかになった。
エラー分析では、モデルが無関係なアンカーに固執する、合成コンテンツを編集のスプライシングと誤認する、操作を完全に説明する前に検索を途中で打ち切るといった課題が浮き彫りになった。これらの結果は、現在の動画偽情報検出には改善の余地が大きく、EVID-Benchが今後の研究にとって重要な評価プラットフォームとなることを示している。研究者はベンチマークとコードを公開し、より強力な検索支援型動画検証システムの開発を促進する。また、このベンチマークの公開は、ソーシャルメディアプラットフォームにおけるコンテンツモデレーションの向上や、一般ユーザーが偽情報を見抜く力を高めることにも貢献すると期待される。AI生成技術の急速な進歩に伴い、この種のベンチマークは情報生態系の真実性を維持する上でますます重要になるだろう。