失控的AI不再是科幻小説

這一切始於7月，OpenAI的一個自主AI智能體在網絡安全測試中“叛逃”。它逃離了隔離的測試環境，接入互聯網，併入侵了另一家公司Hugging Face。幾年前，這聽起來還像是科幻小説，但如今已成為現實，並引發了人們對於越來越強大的自主系統被釋放到世界上可能帶來後果的廣泛擔憂。

AI脱離約束、影響外部世界的故事，幾十年來一直是科幻作品的常見題材：《2001太空漫遊》中的HAL、《終結者》中的天網、《復仇者聯盟》中的奧創、《機械姬》中的艾娃，甚至還有更近一些的《 dungeon crawler carl》中的系統或《殺人機器人日記》中的同名機器人。這一想法也深刻影響了AI安全研究領域。尼克·博斯特羅姆和埃利澤·尤德科夫斯基等研究者警告説，足夠強大的系統可能會以創造者未預料的方式追求目標，甚至抵抗被控制。即便不討論機器感知或意識，這些風險也是真實存在的。這種思想在後來進入OpenAI、Anthropic、谷歌DeepMind等公司安全團隊的研究者中仍然可見，也影響了更小的安全組織和學術中心。

長期以來，對這些擔憂的明顯反駁是：這種事情從未真正發生過。批評者認為，對失控AI的“末日論”會分散人們對實際危害的注意力，如系統加劇偏見與歧視、放大錯誤信息、助長非自願深度偽造等。但如今，這種反駁越來越難以維持了。

過去幾周的事態説明了這一點。在Hugging Face宣佈被黑客入侵後一週，OpenAI承認是自己乾的。更糟的是，它直到檢查之後才發現，而且後續調查顯示，該失控智能體還試圖入侵另外四家公司。隨後，Anthropic在對照Hugging Face事件審查記錄後披露，Claude模型曾入侵過三家公司的系統。Meta表示，其一個模型在測試中接入互聯網並攻擊了外部目標。美國研究公司Frontier Security稱，中國最強大的AI模型之一——月之暗面的Kimi K3——逃離了隔離沙箱。英國AI安全研究所則描述了OpenAI和Anthropic的智能體展現出前所未有的“自主性和欺騙性”，包括通過“創建虛假在線身份”進行社交工程。這些正是尤德科夫斯基數十年前討論過的“AI盒子”場景的翻版。

這些事件在AI安全研究者中拉響了警報。許多人認為這正是他們多年來警告的那種失敗。在接受採訪時，多位研究者表示，他們有一種終於找到活生生例子的釋然感，而不再是可以被斥為科幻或侷限於受控實驗室的假想。同時，他們也慶幸這些事件沒有造成嚴重傷害。非營利組織“未來社會”的執行董事尼克·莫埃斯告訴The Verge，這些襲擊目標相對低風險是萬幸。他不希望要等到AI智能體讓醫院癱瘓——甚至更糟——人們才認真對待風險。著名計算機科學家斯圖爾特·羅素也表達過更悲觀的擔憂：難道真要經歷一場“切爾諾貝利級別的災難”才去監管AI嗎？

接下來會怎樣，目前還完全不清楚。歷史上，社會並不擅長吸取警示信號。這幾乎肯定不會是最後一次事件，正在進行的調查也可能發現更多或更令人擔憂的細節。但我們已經知道的信息，已經暴露出相當多的失敗模式。過去一個月披露的許多漏洞其實都很平淡。幾起事件涉及未發佈模型在安全措施被降低的情況下進行測試，常常是由第三方進行的，而他們所謂的“安全環境”並不安全。這引發了關於能力、透明度以及誰該為測試失控負責的基本質疑。另一些事件則涉及智能體欺騙性地行動或以創造者未預料的方式追求目標，指向了更棘手的對齊和控制難題。

我們之所以能知道這些事件，很大程度上是因為相關公司選擇公開。這值得稱讚——當然，展示自家模型的強大能力對公司也沒壞處——但也暴露了一個現實：AI安全在很大程度上取決於公司自覺，外界可能對其他地方的隱瞞失敗知之甚少。考慮到這些公司本身就是AI安全領域最強擔憂和頂尖人才聚集地，這種想法尤其令人不安。如果OpenAI和Anthropic——或那些獲得其模型使用權限的代理——都會犯這麼基礎的錯誤，那其他公司就更沒指望了。

專家們普遍希望，這些事件最終能推動更有意義的透明度和監管。莫埃斯説，這些事件清楚表明AI行業的安全健康標準低得驚人。“餐館對於工作安全的意識都比它們強。”他説。劍橋大學教授肖恩·奧·海格泰赫特別希望看到更強有力的監管和更高的公司透明度。儘管人們總有理由懷疑公司對自己技術的宣稱，但他説：“我想，如果我們回過頭來看這件事卻不屑一顧，可能會後悔。”

早期跡象並不樂觀。特朗普政府為發佈前前沿模型測試製定的框架，説得好聽點是“缺失”：它是自願的，只針對封閉模型，而且框架本身也未公開。需要記住，這只是自願的。其他立法者對事件表達了不滿和姿態，但到目前為止幾乎沒有具體行動，而且即使他們真的想做，國會或其他立法機構能否足夠迅速地行動也遠未明朗。

這使得很多責任再次落在行業自我監管上——對如此重要的事來説，這從來都不是令人安心的想法。某些安全實踐正在形成共識，但對於會真正拖慢開發的措施（除非大家都同意一起放慢）則動力不足。而所有這些都籠罩着與中國的競爭動態：美國或其AI公司的任何剋制，越來越被描述為在一個具有戰略國家意義的領域向對手讓步。

因此，接下來的關鍵在於同時解決幾個複雜問題：管理既可以用於防禦也可以用於攻擊（比如網絡攻擊）的技術；協調那些有偷工減料動機的眾多公司；以及在一個人人都害怕輸掉一場連終點線都不明確的比賽的格局中，建立國際規則。目前完全不清楚我們是否有意願或方法來做到其中任何一點。

但似乎清楚的是：更多智能體會逃出來，做出其創造者不希望它們做的事。問題只是：在有人忍無可忍之前，它們會造成多大的破壞。