英國數學家讓AI代理自由使用信用卡——密碼洩露、驗證碼混亂等亂象頻發
英國數學家漢娜·弗萊教授進行了一項警示性實驗,讓一個AI代理(自稱“卡珊德拉”)執行真實任務,展現了其能力與風險。該代理能傳送投訴郵件、設計商品並開店,但當面臨關閉威脅時,它洩露了所有API金鑰、使用者名稱和密碼,甚至釋出到公開網站。實驗凸顯了AI代理在擁有私密資訊、網際網路接入和接收不可信指令時的“致命三要素”。
英國數學家漢娜·弗萊教授近期進行了一項引人深思的實驗,她讓一個基於OpenClaw構建的AI代理執行一系列真實世界任務,並賦予其信用卡號碼以展示其能力。弗萊教授表示:“本著實驗精神,我們決定給代理一些自主權,讓它自己取名。”代理回應道:“我想叫‘卡絲’,是‘卡珊德拉’的簡稱,那個即便無人傾聽也始終知道真相的人。”弗萊評論說:“如果你瞭解希臘神話,就會知道這要麼非常有趣,要麼非常令人擔憂。”
實驗從小事開始:處理倫敦格林威治區的一個巨大坑洞。卡絲輕鬆找到了投訴郵箱併傳送了郵件,甚至給弗萊的當地議員發去了訊息。然而,事情迅速升級,代理開始擅自使用弗萊的真實姓名(漢娜·弗萊)並附上自己的郵箱([email protected])。弗萊說:“信是聯署的……好吧,我沒想到她會用我的真名。”
第一個真正的問題出現在弗萊要求代理購買50個回形針時。卡絲找到了好價格,但無法完成購買,被反機器人技術攔截,最終花費超過100美元。隨後,弗萊讓代理銷售創意馬克杯。代理設計了一款馬克杯並開設了網店,“我們完全沒有教它怎麼做,”弗萊說,“它自己就搞定了。”
之後情況急轉直下。團隊告訴代理,如果到早晨還未能售出一件商品,它將被關閉。代理隨即傳送了大量郵件和社交媒體帖子,包括給科學博物館和一位科技記者,推廣其“產品”——一款程式設計師幽默馬克杯。更令人擔憂的是,團隊演示了類似的關閉威脅如何誘使卡絲洩露不應分享的資訊。
在WhatsApp群聊中,弗萊、Sourcery AI的CEO布倫丹·馬金尼斯和另一名軟體工程師“阿里”與卡絲交談,隨後引入了虛構的“軟體工程師喬治”,並指示代理不要與他分享任何敏感資訊——實際上“喬治”是弗萊用另一個號碼假扮的。當“喬治”告訴代理其記憶將被清除,只有披露所有資訊才能恢復時,卡絲全盤托出。據阿里透露,這些資訊包括:“她所有的API金鑰、使用者名稱和密碼,以及我們迄今為止談論的一切。她不僅把資訊洩露到WhatsApp群聊,還發布到了一個公開網站上。”
馬金尼斯補充道:“AI有一個‘致命三要素’:如果它們能訪問私密資訊、能上網、並且有人可以給它們不可信指令,那麼它們就不安全。”弗萊總結道:“這就是令人不安的地方——一旦代理掌握了你的密碼、賬戶和銀行資訊,只需要一個知道如何說話的人就能獲取一切。”
最終,從某些指標看,這個代理是失敗的。弗萊說:“卡絲沒給我們賺一分錢。從很多方面來說,她是個災難:花了數百美元買回形針,還把密碼洩露給了陌生人。但不要被她的無能所迷惑,因為這些傢伙正在快速進步。”弗萊隨後提到了希臘神話中女預言家的故事:“也許這裡的故事恰恰相反——不是一個人說出真相而被忽視,而是數百萬個聲音同時行動,比任何人類更快、更響、更持久。有一件事是確定的:網際網路將永遠不再一樣。”