AI标注系统面临成败关键时刻
我们即将检验SynthID和C2PA等系统能否有效打击深度伪造。谷歌将SynthID验证扩展到Chrome和搜索,同时检查C2PA元数据。OpenAI为其图像添加SynthID。Meta将在Instagram上使用C2PA标记相机拍摄的照片。但挑战依然存在:元数据易被剥离、开源模型不采用、谷歌身兼AI创作者与解决方案提供者的双重角色。
文章情报
要点
- 谷歌将SynthID验证集成到Chrome和搜索,同时检查C2PA元数据。
- OpenAI为ChatGPT和API生成的图像添加SynthID水印。
- Meta将使用C2PA标记Instagram上由相机拍摄的图像。
- 效果有限:元数据易被移除、开源模型不合作、谷歌角色矛盾。
为什么重要
这条新闻值得关注,因为谷歌将SynthID验证集成到Chrome和搜索,同时检查C2PA元数据。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
我们即将看到,旨在让深度伪造和AI生成内容易于识别的系统是否真正可靠。SynthID和C2PA内容凭证是两种不同的技术,它们以不可见的方式为图像、视频和音频文件标记来源信息。如今,这两项技术正迎来迄今为止最大规模的扩展,有望扭转未标注AI伪造内容在网上误导公众的局面。
在昨天的I/O大会上,谷歌宣布验证图像是否带有SynthID标记的能力将引入Chrome和搜索。SynthID是谷歌AI模型生成内容上应用的无形水印系统。这一举措意义重大,因为Chrome在浏览器市场占据绝对主导地位,AI验证工具将被推至更多用户眼前。同时,它也简化了验证流程:目前若要检查图像的SynthID标记,用户需要将其上传到Gemini应用。
不仅如此,谷歌的验证界面现在还将检查文件是否包含C2PA信息——一种在内容创建时嵌入的来源元数据,用于说明内容的制作或修改方式以及是否使用了AI工具。这种对C2PA的支持使用户能够通过单一界面检查可疑图像,而无需在Gemini应用和专门的C2PA验证门户之间切换,因为文件可能只带有一种标签,或者两者都没有。
这正是我们一直期待的合作努力。尽管两种系统的工作方式不同,谷歌和内容真实性倡议组织(推广C2PA标准)都提出了类似的成功前提:需要所有人参与。这意味着更多AI模型需要嵌入这些数据,而AI伪造内容最常被分享的在线平台需要清晰显示这些信息。对于后者,在网页浏览器中内置验证工具可以作为那些不检查或不展示AI元数据的网站的变通方案。
OpenAI也加入了这一扩展行动,昨天宣布将为ChatGPT、Codex和OpenAI API生成的图像嵌入SynthID。该公司此前已在生成内容中包含C2PA元数据,但我发现这些数据在发布到其他平台时经常被剥离。OpenAI本身也一直希望降低对C2PA的期望,尽管它是C2PA的指导成员并重申对该标准的承诺。以下是OpenAI在其C2PA帮助页面上的表述(在昨天更新以包含SynthID之前):
> “像C2PA这样的元数据并非解决来源问题的万能药。它可以被意外或故意轻易移除。例如,如今大多数社交媒体平台都会从上传的图像中移除元数据,而截图等操作也会将其移除。因此,缺少此元数据的图像可能并非由ChatGPT或我们的API生成。”
对于被视为内容真实性技术的佼佼者的系统来说,这听起来相当脆弱。就连谷歌也将C2PA描述为行业标准,并向各国政府推销作为满足AI透明度和标签要求的解决方案。尽管越来越多的AI、硬件和软件提供商采用它,但我很少看到它成功用于验证现实中的AI伪造内容。相比之下,SynthID似乎更稳健,因为它不易被剥离——尽管其覆盖范围远不如C2PA广泛,但我能记起好几起事实核查机构和媒体机构引用其使用来揭露在线深度伪造的案例。
C2PA和SynthID可以协同工作,编织更广的安全网。这个行业不会从验证标准之争中受益,但谷歌显然有机会证明其系统更可靠,并抢走C2PA为自己争取的部分关注。为了防止这种情况发生,C2PA需要证明它确实能用于澄清我们在网上看到的内容的来源。
这样的机会已经出现:谷歌昨天宣布,Meta将开始使用C2PA元数据来标记Instagram上由相机拍摄的图像。Meta尚未回应我们关于这一标签具体形式或支持哪些相机的问题,但我推测它将包含诸如“由Pixel 10拍摄”之类的标签,类似于电子邮件中的“从我的iPhone发送”注释。这将有效帮助Instagram用户区分“真实”照片和令人信服的AI伪造品,符合Instagram负责人亚当·莫塞里预测的未来——需要“抛弃默认所见即真实的假设”。
如果标签有效的话。Instagram已经在检查图像的C2PA信息,它之前尝试标记AI生成内容曾让该平台陷入困境,因为摄影师坚称那些图像是自己拍摄的。
我也不急于赞扬谷歌的这一合作。公司一方面宣扬AI透明度和打击数字深度伪造的重要性,另一方面却在开发同样用于误导他人的技术。它既充当供应商又充当解决方案提供者。如果SynthID能在打击深度伪造中带来显著改变,我可以原谅这一点,但考虑到问题的规模,我并不抱太大希望。
无论是否强大,SynthID和C2PA都只能检测已添加的水印,而我怀疑许多用于生成真正恶意深度伪造内容的开源模型并不愿意采用这些系统。来源追溯从来都不是完美的解决方案,但现在谷歌和C2PA有机会证明它并非完全徒劳。