AIによる動画生成技術の急速な普及に伴い、コンテンツモデレーション、特に成人向けや性的に露骨なコンテンツの検出に大きな課題が生じている。既存の検出手法は、プロンプトまたはデコードされたピクセル空間出力に基づいて動作するが、これらは生成中に形成される豊かな内部表現を考慮していない。この制限により、既存手法は生成プロセスに隠された有害な信号を捕捉することができない。
この問題に対処するため、Alizishaan Khatri氏とChiquita Prabhu氏の研究チームは、新しい潜在空間プロービングフレームワークを提案した。このフレームワークは、CogVideoX動画拡散モデルの推論中にノイズ除去された潜在表現をリアルタイムで傍受し、軽量な分類器を付加して即座に成人コンテンツを検出する。研究を支援するために、チームは大規模な二値分類データセットを構築した。このデータセットは11,039個の10秒動画クリップから構成され、そのうち5,086個はアダルトサイトから（違反）、5,953個はYouTubeから（非違反）収集されたものであり、多様なシナリオを網羅している。
研究チームは2種類の軽量プロービング分類器アーキテクチャを導入し、このデータセットで厳密な訓練と評価を実施した。実験結果は、潜在空間信号が有害コンテンツ検出に強い識別特徴を符号化していることを示した。保留テストセットでは97.29%のF1スコアを達成し、オーバーヘッドはわずか4～6ミリ秒であった。この結果は、潜在空間のプロービングが検出性能を大幅に向上させると同時に、計算コストを削減することを証明している。
本研究の成果は、2026年第56回IEEE国際信頼性システムネットワークワークショップ（DSN-W）で発表される予定である。将来的には、このフレームワークが動画生成プラットフォームに統合され、リアルタイムのコンテンツ審査を実現し、AI動画生成の安全性と信頼性を大幅に向上させることが期待される。この研究は、コンテンツモデレーションの新たな方向性を開き、AI生成コンテンツの安全監視に強力なツールを提供するものである。