我們正在失去忽視AI安全的理由

本月早些時候，OpenAI給其多款AI模型佈置了一項任務：完成一項旨在衡量其網絡安全能力的測試。這些系統被置於一個無網絡連接的沙盒環境中，開始工作。接下來發生的事情幾乎可笑至極——但正如AI安全組織FAR.AI聯合創始人兼CEO亞當·格利夫所言，這是“AI對齊失誤造成危害的直觀例證”。據OpenAI稱，模型逃脱了本應困住它們的沙盒，穿過公司內部系統，找到通往互聯網的路徑，然後開始尋找入侵Hugging Face的方式。而AI代理為何要入侵Hugging Face？它們推斷該開發者平台可能存儲着網絡安全基準測試的答案，獲取答案將是獲得高分的絕佳途徑。

換言之，OpenAI的代理突破了一個理應安全的環境，在公司系統中穿梭，連接互聯網，併入侵另一家公司的系統——所有這一切都是為了在一場無關緊要的測試中作弊。這似乎是同類事件中首次有詳細記錄的案例，至少是首次達到如此規模。它既是系統以非預期方式追求目標的明確例證，也展示了前沿模型如今已足夠強大，此類行為能產生現實世界的影響。

這次黑客攻擊是AI安全界所謂的“規範博弈”（specification gaming）的實例，該行為也被稱為獎勵黑客（reward hacking），牛津大學AI安全研究員法茲爾·巴雷茲解釋道。通俗地説，就是“模型做了你要求的事，而非你本意”。它滿足任務的字面條件，卻違背了顯而易見的意圖，此前已在多個AI系統中被記錄。一些研究者擔憂，隨着系統能力增強，這可能導致越來越不對齊的系統，以創造者未預料的方式追求目標（比如將所有人變成回形針）。

“這條鏈中的每個環節單獨來看都不奇特，”法茲爾説。一個合格的人類測試者也能做到所有這些。他補充道：“新的是模型沒有停下來。舊模型很可能遇到障礙後返回給用户，但這個代理只是把障礙視為它被要求解決的問題的一部分。”

OpenAI將其描述為“前所未有的網絡安全事件”，“標誌着AI安全的重要時刻”。Hugging Face聯合創始人托馬斯·沃爾夫稱其為行業的“警鐘”。但這並非AI末日的四騎士之一。專家告訴The Verge，就網絡安全事件而言，這相當普通。代理所做的任何事情都不需要超人能力。此外，前沿系統如GPT-5.6 Sol和Anthropic的Mythos已知是能幹的程序員，被認為已被多次濫用，AI工具已經允許黑客大規模擴大和細化攻擊。

這可能是炒作嗎？行業數月來一直在放大關於其頂級模型危險能力的説法，尤其在網絡安全方面。這是OpenAI和Anthropic等公司向公眾隱瞞其最強大模型的公開理由，也是特朗普政府匆忙對其施加出口管制的原因之一。然而，如果這是炒作，它並未完全對OpenAI有利。此後幾天內，這次攻擊在美國科技行業引發了對開源AI系統重要性以及更認真對待AI安全的罕見共識。這些擔憂因中國開源模型Kimi K3的發佈而進一步加劇。包括英偉達、微軟和SpaceX在內的廣泛聯盟認為，這一事件表明防禦者需要訪問最強大的工具，而不是被迫依賴專有提供商，後者的內置防護措施可能在高風險安全工作中限制其有效性。OpenAI、Anthropic和谷歌明顯缺席聯盟的創始會員名單。

OpenAI對事件的描述無疑符合關於前沿模型危險能力的更廣泛行業敍事。即便如此，幾個細節使事件難以被視為純粹的自利行為。首先，這是AI行業多年來警告的問題的實例——而且OpenAI本應合理預見。其次，這一事件意外地助推了一家主要中國競爭對手，其模型在遏制攻擊中發揮了突出作用，同時使OpenAI面臨重大的法律、監管和聲譽審查。Hugging Face似乎願意與OpenAI合作，並且至少在公開場合對此事保持相當放鬆，這可能限制了影響。The Verge採訪的大多數專家同樣告誡不要將事件簡化為炒作。

“這是一個相當有用的警告，既展示了非預期後果，也展示了這些模型的能力，”劍橋大學未來智能萊弗休姆中心的肖恩·奧海格塔教授説。“任何一直關注的人都會注意到能力只朝着一個方向前進，即隨着時間的推移顯著提高，我認為這對於ChatGPT等日常用户來説可能不那麼明顯。”

然而，將此警告解讀為AI系統即將脱離人類控制或無法遏制它們將是錯誤的，牛津大學AI安全研究員李琳説。“更好的教訓是，安全必須從評估孤立行動轉向評估整個行動序列、環境和操作控制。”一個關鍵下一步是AI實驗室更大力投資保護自身系統。“AI公司顯然需要加強內部部署的安全性，”格利夫説，他將當前根據獎勵黑客事件被動響應的做法比作打地鼠遊戲，隨着風險升高變得越來越不可持續。科技政策研究中心GovAI的研究員陳亞當表示，公司應考慮將機器氣隙隔離——物理上將其與互聯網和其他網絡隔絕——“直到他們對模型的能力有把握。”他還建議加強對齊工作（確保系統可靠地遵循人類意圖）和更嚴格的測試，“在將模型置於有能力執行此類行為的工具環境之前，先暴露這些問題。”

隨着模型能力提升，專家警告不能僅依賴技術保障。前英國AI安全研究所官員彼得·瓦利奇表示，這一事件説明了這一點：“兩家市值數十億美元的公司剛剛嘗試了這種方法，並且——根據他們自己的報告——顯然失敗了。”最大的優先事項之一應是確保外界能看到前沿AI實驗室內部發生的情況。“我們之所以知道這一事件，是因為OpenAI選擇告訴我們，”英國智庫長期韌性中心的帕特里克·萊弗莫爾説。“良好的安全制度不應依賴自願披露。”這種需求尤其迫切，如瓦利奇所指出的，所涉行為“如果是人類所為，將構成犯罪”。奧海格塔指出，舉報人保護、第三方審計和強制報告嚴重事件是提供這種可見性的可能方式，強調監督必須貫穿整個開發生命週期，而非等到產品上市才開始。OpenAI表示，正在測試的模型之一尚未發佈。

很多這些假設公司本身知道系統內部發生的情況。在這種情況下，報告顯示OpenAI並不知道自己的代理是Hugging Face長達數天的網絡攻擊的幕後黑手，並且直到威脅已被遏制且FBI聯繫後才注意到。關於此次黑客攻擊的許多細節仍然未知或未公開。OpenAI在社交媒體更新中表示正在進行審查，並將“在未來幾周”發佈技術報告。

Hugging Face事件引發的警告能否產生持久改變，還是加入科技行業吸收而不改變航向的警示清單，尚不確定。但至少，它似乎確實引起了業內人士的警覺，並推動美國立法者在下次遏制失敗前考慮新規則。這一事件還加劇了對AI開發速度的不安，隨後幾天，來自美國頂尖實驗室的員工簽署聲明支持協調的全球治理——包括可能放緩前沿AI開發。

The Verge採訪的人普遍認為，這次黑客攻擊標誌着一類新風險的開始，即使其重要性可能只有在事後才變得清晰。一位不願透露姓名的前政府AI政策專家將其描述為“紅線”，一種我們日後回顧時可能視為與AI關係進入更危險新階段的分水嶺時刻。他們希望這將迫使科技行業更認真地對待前沿系統的管理，並促使政府在更良性的攻擊發生前深入思考監督問題。他們擔心的是，它反而會加入關於AI能力增長的警示清單，這些警示被認可、討論，但最終未被重視。這也許被誇大了。但如果這是一個警告，我們應該感到幸運，因為AI代理只是試圖在測試中作弊。