隨着AI視頻生成技術的飛速發展，內容審核面臨前所未有的挑戰，尤其是成人及色情內容的檢測。現有的檢測方法通常依賴於提示詞或解碼後的像素空間輸出，但這些方法完全忽略了模型在生成過程中形成的豐富內部表示。這種侷限性使得現有方法難以捕捉到隱藏在生成流程中的有害信號。
針對這一問題，來自Alizishaan Khatri和Chiquita Prabhu的研究人員提出了一種新穎的潛在空間探測框架。該框架在CogVideoX視頻擴散模型推理過程中，實時攔截去噪後的潛在表示，並附加輕量級分類器進行即時成人內容檢測。為了支持這項研究，團隊構建了一個大規模的二進制分類數據集，包含11,039個十秒視頻片段，其中5,086個來自成人網站（標註為違規），5,953個來自YouTube（標註為非違規）。這些片段涵蓋了多種場景，確保了數據集的多樣性和代表性。
研究團隊設計了兩種輕量級探測分類器架構，並在該數據集上進行了嚴格的訓練和評估。實驗結果表明，潛在空間信號編碼了強大的判別特徵，能夠有效區分有害和正常內容。在保留測試集上，該方法取得了97.29%的F1分數，而檢測開銷僅為4-6毫秒，幾乎可以忽略不計。這一結果證明，探測潛在空間不僅顯著提升了檢測性能，還大幅降低了計算成本。
該研究成果已被2026年第56屆IEEE國際可靠系統與網絡研討會（DSN-W）接收。未來，該框架有望被集成到視頻生成平台中，實現實時內容審核，從而顯著提升AI視頻生成的安全性和可靠性。這一工作為內容審核領域開闢了新的方向，也為AI生成內容的安全監管提供了有力工具。