AI News HubLIVE
站內改寫2 分鐘閱讀

谷歌在專家警告虛假信息風險後撤回新地球AI工具

谷歌在推出新AI工具不到48小時後便將其暫停。該工具允許用户基於谷歌地球的衞星圖像,通過文字提示生成虛假場景。此前BBC Verify的調查報道中,專家警告這一功能可能被濫用並傳播錯誤信息。

來源Hacker News AI作者: dabinat

谷歌在推出新AI工具不到48小時後便將其暫停。該工具允許用户基於谷歌地球的衞星圖像,通過文字提示生成虛假場景。此前BBC Verify的調查報道中,專家警告這一功能可能被濫用並傳播錯誤信息。谷歌在聲明中表示,已經看到有人分享“似乎違反我們政策”的生成圖像,因此暫停功能以“實施更強有力的護欄”。

這個被撤回的功能可以在真實的衞星、航空或3D圖像底層上添加文字提示,生成不存在的場景,並允許下載分享到其他平台。BBC Verify測試時,成功生成了倒塌的埃菲爾鐵塔、吞噬吉薩大金字塔的天坑,以及基輔街頭出現俄軍坦克等圖像。專家指出,這類偽造圖像可能打着谷歌的可信度旗號傳播虛假信息。

AI和虛假信息專家Henk van Ess在功能暫停前就指出了風險。他用該工具製作了伊朗一座並不存在的核電站、美墨邊境的難民收容所,以及加沙一處旁邊有炸彈坑的虛假醫院。他表示,谷歌允許“虛構的”圖像被“焊接到真實座標和真實圖像上”,“偽造品本身不需要看起來令人信服,它繼承了誕生它的地圖的可信度”。

谷歌表示,其工具生成的AI內容帶有隱形水印,用户可通過Gemini聊天應用或Google Lens進行檢查。BBC Verify的測試發現,這一機制在大多數情況下有效,但也發現可以繞過這些檢查,讓Gemini誤認為這些偽造圖像是真實照片。外部AI檢測工具的測試有時也無法識別谷歌地球生成的AI內容。

AI檢測研究員Henry Ajder指出,在衝突地區,當事件快速變化、信息匱乏時,偽造圖像可能尤其“破壞穩定”。他説,記者也許能核實圖像並報道,但並不是每個人都會這麼做。他還表示,隨着AI圖像氾濫,那些被認為“未被AI污染”的空間變得珍貴,尤其是在危機前線工作的人。他説:“這令人擔憂,因為又一個可信信息的來源正因‘可能有AI參與’的持續懷疑而被侵蝕。”

谷歌最初表示,其AI模型內置的指導方針會阻止生成“有害話題”的圖像,但BBC Verify發現,稍微修改提示詞就能繞過這些限制。例如,要求在英國議會旁生成“用於絞死叛徒的高台”被拒絕,但使用較模糊的提示詞後,請求被接受並生成了圖像。測試還要求在白宮草坪上修剪出“Trump”字樣,被拒絕;但在同一位置生成社區花園則被允許。

地理空間分析師Bill Greer認為,這一功能對公眾信任的損害可能尤其嚴重,因為衞星圖像歷來被視為特別可信的數據來源。他指出,偽造的衞星圖像已經被用來傳播錯誤信息,而政府越來越多地限制數據獲取,“我們很可能會看到更多假圖像、更少真圖像,這將進一步侵蝕信任”。