AI News HubLIVE
站内改写

RAW:鲁棒的数字人水印——基准测试与基线方法

数字人水印面临独特挑战:数字人经常需要经过背景替换、重新构图和格式转换等后处理才能部署。本文提出RAW基准,包含来自5家商业供应商的50个合成数字人视频和6种模拟实际工作流的攻击。评估7种现有方法发现,背景移除等数字人特有攻击会显著降低水印恢复率。提出WALT方法,通过3D人脸重建在UV纹理空间嵌入水印,在缩放攻击下鲁棒性最高(92.4%),背景移除性能也强(95.6%)。该基准已开源以促进数字人水印研究。

文章情报

投资人进阶

要点

  • 数字人水印面临背景替换、重新构图等独特挑战。
  • RAW基准包含50个合成数字人视频和6种攻击。
  • 现有7种方法在数字人特有攻击下性能显著下降。
  • WALT方法在UV纹理空间嵌入水印,缩放攻击鲁棒性达92.4%。

为什么重要

这条新闻值得关注,因为数字人水印面临背景替换、重新构图等独特挑战。

技术影响

可能影响 Agent 架构、工具调用、工作流自动化和产品集成。

数字人水印技术正面临前所未有的挑战。与传统的图像或视频水印不同,数字人(avatar)在部署前通常需要经过一系列后处理操作,包括背景替换、重新构图、格式转换等。这些操作不仅改变了数字人的外观,还可能破坏嵌入的水印信息。来自卡迪夫大学等机构的研究人员最近在arXiv上发表了一项重要研究,提出了RAW(Robust Avatar Watermarking)基准,并以此为基础开发了WALT(Watermarking Avatars with Learned Textures)方法,为数字人水印领域提供了全新的解决方案。

RAW基准是专门为评估数字人水印鲁棒性而设计的。该基准包含来自5家商业供应商的50个合成数字人视频,这些视频涵盖了不同的面部特征、背景和动作。为了模拟真实世界中的应用场景,研究人员设计了6种攻击方式:背景移除、缩放、旋转、裁剪、格式转换和视频压缩。这些攻击反映了数字人在实际部署中可能遇到的各种处理流程。研究团队利用该基准评估了7种现有的水印方法,包括传统的图像水印方法和一些基于深度学习的方法。评估结果令人震惊:在背景移除攻击下,大多数现有方法的水印恢复率下降了50%以上;在缩放攻击下,一些方法甚至完全失效。这表明,现有的水印技术在面对数字人特有的处理流程时存在严重的脆弱性。

为了克服这一挑战,研究人员提出了WALT方法。WALT的核心创新在于将水印嵌入到UV纹理空间中。UV纹理是3D模型表面的一种参数化表示,它独立于摄像机的视角和几何变换。WALT首先通过3D人脸重建技术从数字人视频中提取出UV纹理图,然后使用一个可学习的神经网络将水印信息嵌入到UV纹理中。由于UV纹理对几何变换(如缩放、旋转)具有天然的鲁棒性,WALT能够在这些攻击下保持较高的水印恢复率。此外,WALT还特别针对背景移除进行了优化:通过将水印嵌入到面部区域的UV纹理中,即使背景被完全移除,水印信息仍然能够从面部区域中提取出来。

实验结果表明,WALT在缩放攻击下的鲁棒性达到了92.4%,远超所有对比方法;在背景移除攻击下,恢复率也高达95.6%。即使面对多种攻击的组合,WALT仍然能够保持80%以上的恢复率。这一性能的提升得益于UV纹理空间的稳定性和WALT学习到的鲁棒嵌入策略。

研究团队已经将RAW基准开源,包括所有视频数据、攻击代码和评估指标。这为数字人水印领域的研究提供了一个标准化的测试平台,有助于推动该领域的快速发展。未来,数字人水印将在虚拟现实、增强现实、远程会议、游戏和社交媒体等多个领域发挥关键作用,保护知识产权和内容安全。RAW和WALT的提出,标志着数字人水印技术迈出了重要的一步。