OpenAI 和 Nvidia 正在使用 Google 的 SynthID 為 AI 內容添加水印
Google 的 SynthID 水印系統正被 OpenAI、Nvidia、ElevenLabs 和 Kakao 採用,標誌着 AI 內容檢測向共享行業標準轉變。
文章情報
要點
- SynthID 直接將水印嵌入像素和音頻波形,使其比元數據更難移除。
- OpenAI、Nvidia、ElevenLabs 和 Kakao 現在將 SynthID 用於其圖像、視頻和語音生成工具。
- 該系統無法覆蓋開源模型和已存在的無水印內容,但為主要商業生成器提供了可檢測的信號。
為甚麼重要
這條新聞值得關注,因為SynthID 直接將水印嵌入像素和音頻波形,使其比元數據更難移除。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
三年前,谷歌推出了一套名為 SynthID 的 AI 生成內容水印系統。當時沒有公司被要求使用它,它只是谷歌對行業尚未完全承認的問題的回應。如今,OpenAI 正在使用它,Nvidia 也不例外,ElevenLabs 和 Kakao 也加入了這一行列。谷歌表示,SynthID 已應用於 1000 億張圖片和視頻,以及相當於 6 萬年的音頻內容。這一時機至關重要,因為 AI 生成的圖像和視頻已經足夠逼真,舊有的識別方法——比如多出的手指、模糊的文字或錯誤的陰影——大多已消失。取而代之的檢測方法不是靠人眼判斷,而是在內容生成時就嵌入水印,在它進入任何人的信息流之前。SynthID 是谷歌對此規模化運作的賭注,而越來越多的行業巨頭正在加入這一陣營。
SynthID 為何更難移除?目前大多數 AI 內容標註依賴元數據。文件在創建時會被打上標籤,描述其生成方式、所用工具等。谷歌也通過 C2PA 標準使用這種方法,其 Pixel 10 手機現在在拍攝時直接將此類信息嵌入照片和視頻。但元數據的問題在於它可被移除。截取一張帶標籤的圖片,元數據不會隨之保留;通過壓縮工具處理、裁剪或在剝離文件信息的地方重新發布,標籤就會消失。SynthID 則不同。水印存在於圖像或視頻的像素中,或音頻文件的波形中。它不是附着在文件上,而是編織在內容本身。據谷歌 DeepMind 科學家 Pushmeet Kohli 稱,該系統專門設計用於承受人們實際使用的各種變換:壓縮、裁剪、旋轉、格式轉換。這種魯棒性使其值得圍繞它構建。如果水印在截屏後消失,那它就不是水印,而只是一個建議。SynthID 的設計使其能夠持續存在於內容在互聯網上傳播的方式中,因此即使文件經過多次轉手,檢測端仍能發現它。一些研究人員聲稱找到了去除 SynthID 模式的方法,但谷歌認為這些方法實際上無法規模化運作。隨着採用率的提高和破解動機的增加,這一説法值得關注。
OpenAI 和 Nvidia 的加入意味着什麼?此前 SynthID 的限制很簡單:它只為谷歌自己的模型生成的內容打標。Midjourney 生成的每張圖片、Sora 生成的每個視頻、以及眾多初創公司的語音克隆都沒有 SynthID 水印。基於 SynthID 模式的檢測工具只對實際流通內容的一小部分有用。但當 OpenAI 將 SynthID 添加到 GPT-2 圖像生成中,Nvidia 將其添加到 Cosmos 世界基礎模型時,情況發生了變化。GPT-2 圖像已被廣泛使用,而 Cosmos 是 Nvidia 的視頻和模擬內容生成基礎。ElevenLabs 是最廣泛使用的 AI 語音平台之一,Kakao 在亞洲市場擁有巨大影響力。這並未完全消除差距。開源模型的存在正是為了讓任何人都可以按自己的方式生成內容,無需水印。這一類別不會消失。但當主要的商業生成器都開始使用同一系統為其輸出添加水印時,情況就不同了。人們從主流工具接觸到的內容開始攜帶可檢測的信號,而那些沒有水印的內容則變得更加引人注目。此外,這些公司採用同一標準而非各自構建競爭系統也很重要。如果水印格局碎片化——OpenAI 用一個系統,谷歌用另一個,Nvidia 用第三個——那麼規模化檢測就幾乎毫無用處。向 SynthID 的收斂,即使是部分收斂,才使檢測基礎設施值得建設。
SynthID 無法控制的是什麼?這個解決方案並非永久適用於所有 AI 生成內容。開源圖像和視頻模型不在此列。任何運行本地模型、微調自己權重或基於公開可用檢查點進行構建的人都沒有義務應用 SynthID,也沒有基礎設施可以這樣做。這一內容生成類別正在增長,並且超出了任何商業水印合作的範圍。此外,對於該推出之前的現有內容也存在截屏問題。三年的 AI 圖像已經在沒有 SynthID 的情況下流通,無法追溯性地打標。系統只標記通過參與平台新生成的內容。而且水印可能受到攻擊。谷歌堅稱沒有繞過方法能規模化運作,但隨着採用率的提高和破解動機的增加,這一説法將面臨更嚴峻的考驗。一個覆蓋大多數主要商業生成器的水印系統成為更有價值的目標。SynthID 提供的是來自主流商業工具內容的信號,這確實有用,但問題並未完全解決。
未來走向如何?谷歌正在擴展 SynthID 檢測的實際應用場景。Circle to Search、Lens 和 AI Mode 都將能夠掃描水印。Chrome 中的 Gemini 可以直接檢查標籤頁內容,如果你詢問某內容是否為 AI 生成。當檢測集成到人們已經使用的工具中時,檢測的複雜性顯著降低。谷歌還通過其 Gemini Enterprise Agent 平台向企業客户開放部分 SynthID。該公司仍未發佈完全公開的檢測 API,因為那會使人們更容易研究系統並嘗試繞過。但企業現在可以使用官方驗證工具來檢查文本、音頻或視頻是否包含 SynthID 水印。SynthID 正成為行業最接近共享標準的 AI 內容標註方案,因為足夠多的主要參與者認為自建系統不值得。基礎設施標準通常就是這樣形成的。