AI News HubLIVE
站内改写

RAW:魯棒的數字人水印——基準測試與基線方法

數字人水印面臨獨特挑戰:數字人經常需要經過背景替換、重新構圖和格式轉換等後處理才能部署。本文提出RAW基準,包含來自5家商業供應商的50個合成數字人視頻和6種模擬實際工作流的攻擊。評估7種現有方法發現,背景移除等數字人特有攻擊會顯著降低水印恢復率。提出WALT方法,通過3D人臉重建在UV紋理空間嵌入水印,在縮放攻擊下魯棒性最高(92.4%),背景移除性能也強(95.6%)。該基準已開源以促進數字人水印研究。

文章情報

投資人進階

要點

  • 數字人水印面臨背景替換、重新構圖等獨特挑戰。
  • RAW基準包含50個合成數字人視頻和6種攻擊。
  • 現有7種方法在數字人特有攻擊下性能顯著下降。
  • WALT方法在UV紋理空間嵌入水印,縮放攻擊魯棒性達92.4%。

為甚麼重要

這條新聞值得關注,因為數字人水印面臨背景替換、重新構圖等獨特挑戰。

技術影響

可能影響 Agent 架構、工具調用、工作流自動化和產品集成。

數字人水印技術正面臨前所未有的挑戰。與傳統的圖像或視頻水印不同,數字人(avatar)在部署前通常需要經過一系列後處理操作,包括背景替換、重新構圖、格式轉換等。這些操作不僅改變了數字人的外觀,還可能破壞嵌入的水印信息。來自卡迪夫大學等機構的研究人員最近在arXiv上發表了一項重要研究,提出了RAW(Robust Avatar Watermarking)基準,並以此為基礎開發了WALT(Watermarking Avatars with Learned Textures)方法,為數字人水印領域提供了全新的解決方案。

RAW基準是專門為評估數字人水印魯棒性而設計的。該基準包含來自5家商業供應商的50個合成數字人視頻,這些視頻涵蓋了不同的面部特徵、背景和動作。為了模擬真實世界中的應用場景,研究人員設計了6種攻擊方式:背景移除、縮放、旋轉、裁剪、格式轉換和視頻壓縮。這些攻擊反映了數字人在實際部署中可能遇到的各種處理流程。研究團隊利用該基準評估了7種現有的水印方法,包括傳統的圖像水印方法和一些基於深度學習的方法。評估結果令人震驚:在背景移除攻擊下,大多數現有方法的水印恢復率下降了50%以上;在縮放攻擊下,一些方法甚至完全失效。這表明,現有的水印技術在面對數字人特有的處理流程時存在嚴重的脆弱性。

為了克服這一挑戰,研究人員提出了WALT方法。WALT的核心創新在於將水印嵌入到UV紋理空間中。UV紋理是3D模型表面的一種參數化表示,它獨立於攝像機的視角和幾何變換。WALT首先通過3D人臉重建技術從數字人視頻中提取出UV紋理圖,然後使用一個可學習的神經網絡將水印信息嵌入到UV紋理中。由於UV紋理對幾何變換(如縮放、旋轉)具有天然的魯棒性,WALT能夠在這些攻擊下保持較高的水印恢復率。此外,WALT還特別針對背景移除進行了優化:通過將水印嵌入到面部區域的UV紋理中,即使背景被完全移除,水印信息仍然能夠從面部區域中提取出來。

實驗結果表明,WALT在縮放攻擊下的魯棒性達到了92.4%,遠超所有對比方法;在背景移除攻擊下,恢復率也高達95.6%。即使面對多種攻擊的組合,WALT仍然能夠保持80%以上的恢復率。這一性能的提升得益於UV紋理空間的穩定性和WALT學習到的魯棒嵌入策略。

研究團隊已經將RAW基準開源,包括所有視頻數據、攻擊代碼和評估指標。這為數字人水印領域的研究提供了一個標準化的測試平台,有助於推動該領域的快速發展。未來,數字人水印將在虛擬現實、增強現實、遠程會議、遊戲和社交媒體等多個領域發揮關鍵作用,保護知識產權和內容安全。RAW和WALT的提出,標誌着數字人水印技術邁出了重要的一步。