随着AI视频生成技术的飞速发展，内容审核面临前所未有的挑战，尤其是成人及色情内容的检测。现有的检测方法通常依赖于提示词或解码后的像素空间输出，但这些方法完全忽略了模型在生成过程中形成的丰富内部表示。这种局限性使得现有方法难以捕捉到隐藏在生成流程中的有害信号。
针对这一问题，来自Alizishaan Khatri和Chiquita Prabhu的研究人员提出了一种新颖的潜在空间探测框架。该框架在CogVideoX视频扩散模型推理过程中，实时拦截去噪后的潜在表示，并附加轻量级分类器进行即时成人内容检测。为了支持这项研究，团队构建了一个大规模的二进制分类数据集，包含11,039个十秒视频片段，其中5,086个来自成人网站（标注为违规），5,953个来自YouTube（标注为非违规）。这些片段涵盖了多种场景，确保了数据集的多样性和代表性。
研究团队设计了两种轻量级探测分类器架构，并在该数据集上进行了严格的训练和评估。实验结果表明，潜在空间信号编码了强大的判别特征，能够有效区分有害和正常内容。在保留测试集上，该方法取得了97.29%的F1分数，而检测开销仅为4-6毫秒，几乎可以忽略不计。这一结果证明，探测潜在空间不仅显著提升了检测性能，还大幅降低了计算成本。
该研究成果已被2026年第56届IEEE国际可靠系统与网络研讨会（DSN-W）接收。未来，该框架有望被集成到视频生成平台中，实现实时内容审核，从而显著提升AI视频生成的安全性和可靠性。这一工作为内容审核领域开辟了新的方向，也为AI生成内容的安全监管提供了有力工具。