AI News HubLIVE
站内改写2 分钟阅读

面向架构自适应的深度伪造检测不确定性融合方法

深度伪造检测系统在基准测试中近乎完美,但法医部署需要可靠的不确定性估计。现有不确定性量化方法依赖单一来源,忽略了最优不确定性组合因架构而异。本文提出相关性优化融合(COF),一种架构自适应框架,通过最大化融合不确定性分数与预测误差之间的皮尔逊相关性,融合五种互补的不确定性来源:认知、偶然、校准、共形和分布。COF无需修改模型,仅需42秒权重优化,而5模型深度集成需要20-45小时。在FaceForensics++上对11种架构的评估揭示了根本性权衡:在匹配训练/评估协议下,非线性方法域内相关性比COF高约5-6%(平均r=0.438),但在分布偏移下情况反转。在CelebDF上,COF在9/11架构上优于随机森林,相关性最高提升7.3倍(MaxViT-B:r=0.249 vs 0.034);RF跨域退化85%至r=0.071,而COF保留更多信号(下降74%至r=0.116)。跨数据集评估(CelebDF和DFDC)显示所有方法均出现灾难性泛化失败:域内相关性0.41-0.47降至外部接近零(平均退化90.7%),11种架构中有7种出现不确定性反转。这些结果将COF确立为可控分布部署的实用可解释框架,并指出域自适应UQ是法医部署的核心开放挑战。

来源arXiv Computer Vision作者: Ritesh Sharma, Mohammad Ghasemigol, Yuichi Motai

深度伪造技术的快速发展对数字取证提出了严峻挑战。尽管当前的深度伪造检测系统在标准基准测试中表现出近乎完美的准确率,但在实际法医部署中,模型不仅需要给出预测,还必须提供可靠的预测不确定性估计。然而,现有的不确定性量化(UQ)方法通常依赖于单一的不确定性来源,忽略了不同神经网络架构在最优不确定性组合上的差异。

针对这一问题,来自研究团队的最新论文提出了一种名为“相关性优化融合”(Correlation-Optimized Fusion,COF)的架构自适应框架。COF通过融合五种互补的不确定性来源——认知不确定性、偶然不确定性、校准不确定性、共形不确定性和分布不确定性——来提升不确定性估计的质量。该方法的核心思想是通过在概率单纯形上进行约束优化,最大化融合后的不确定性分数与预测误差之间的皮尔逊相关性。COF的一个显著优势是无需修改现有模型结构,且权重优化仅需42秒,而传统的5模型深度集成(Deep Ensemble)方法则需要20至45小时。

研究者在FaceForensics++数据集上对11种不同架构进行了详细评估,结果揭示了重要的权衡关系:在训练域与测试域匹配的情况下,非线性方法(如随机森林)的域内相关性比COF高约5-6%(平均相关系数r=0.438);然而,当面临分布偏移时,情况发生逆转。在CelebDF数据集上,COF在11种架构中的9种上超越了随机森林,相关性最高提升7.3倍(例如,在MaxViT-B架构上,COF的r=0.249,而随机森林仅为r=0.034)。随机森林在跨域测试中相关性下降了85%至r=0.071,而COF仅下降74%,保留了更多的信号(r=0.116)。

进一步的跨数据集评估在CelebDF和DFDC上进行,结果揭示了所有方法都面临灾难性的泛化失败:域内相关性介于0.41至0.47之间,而在外部数据集上几乎降至零,平均退化幅度高达90.7%。更令人担忧的是,11种架构中有7种出现了不确定性反转现象,即预测不确定性分数与误差呈负相关。这些发现表明,现有的不确定性量化方法在跨域场景下根本无法信赖。

该研究的贡献在于:一方面,COF被证明是一种实用且可解释的框架,适用于受控分布场景的部署;另一方面,研究明确指出域自适应不确定性量化是法医深度伪造检测中最为核心的开放挑战。未来的工作将需要开发能够动态适应数据分布变化的UQ机制,以推动深度伪造检测技术从实验室走向真实世界的广泛应用。