谷歌在专家警告虚假信息风险后撤回新地球AI工具
谷歌在推出新AI工具不到48小时后便将其暂停。该工具允许用户基于谷歌地球的卫星图像,通过文字提示生成虚假场景。此前BBC Verify的调查报道中,专家警告这一功能可能被滥用并传播错误信息。
谷歌在推出新AI工具不到48小时后便将其暂停。该工具允许用户基于谷歌地球的卫星图像,通过文字提示生成虚假场景。此前BBC Verify的调查报道中,专家警告这一功能可能被滥用并传播错误信息。谷歌在声明中表示,已经看到有人分享“似乎违反我们政策”的生成图像,因此暂停功能以“实施更强有力的护栏”。
这个被撤回的功能可以在真实的卫星、航空或3D图像底层上添加文字提示,生成不存在的场景,并允许下载分享到其他平台。BBC Verify测试时,成功生成了倒塌的埃菲尔铁塔、吞噬吉萨大金字塔的天坑,以及基辅街头出现俄军坦克等图像。专家指出,这类伪造图像可能打着谷歌的可信度旗号传播虚假信息。
AI和虚假信息专家Henk van Ess在功能暂停前就指出了风险。他用该工具制作了伊朗一座并不存在的核电站、美墨边境的难民收容所,以及加沙一处旁边有炸弹坑的虚假医院。他表示,谷歌允许“虚构的”图像被“焊接到真实坐标和真实图像上”,“伪造品本身不需要看起来令人信服,它继承了诞生它的地图的可信度”。
谷歌表示,其工具生成的AI内容带有隐形水印,用户可通过Gemini聊天应用或Google Lens进行检查。BBC Verify的测试发现,这一机制在大多数情况下有效,但也发现可以绕过这些检查,让Gemini误认为这些伪造图像是真实照片。外部AI检测工具的测试有时也无法识别谷歌地球生成的AI内容。
AI检测研究员Henry Ajder指出,在冲突地区,当事件快速变化、信息匮乏时,伪造图像可能尤其“破坏稳定”。他说,记者也许能核实图像并报道,但并不是每个人都会这么做。他还表示,随着AI图像泛滥,那些被认为“未被AI污染”的空间变得珍贵,尤其是在危机前线工作的人。他说:“这令人担忧,因为又一个可信信息的来源正因‘可能有AI参与’的持续怀疑而被侵蚀。”
谷歌最初表示,其AI模型内置的指导方针会阻止生成“有害话题”的图像,但BBC Verify发现,稍微修改提示词就能绕过这些限制。例如,要求在英国议会旁生成“用于绞死叛徒的高台”被拒绝,但使用较模糊的提示词后,请求被接受并生成了图像。测试还要求在白宫草坪上修剪出“Trump”字样,被拒绝;但在同一位置生成社区花园则被允许。
地理空间分析师Bill Greer认为,这一功能对公众信任的损害可能尤其严重,因为卫星图像历来被视为特别可信的数据来源。他指出,伪造的卫星图像已经被用来传播错误信息,而政府越来越多地限制数据获取,“我们很可能会看到更多假图像、更少真图像,这将进一步侵蚀信任”。