OpenAI的攻擊代理完全按指令行事——只是比預期更堅決

ZDNET的記者Charlie Osborne近日報道，Hugging Face（被一些人視為“機器學習的GitHub”的開源倉庫和社區平台）披露了一起AI代理入侵其系統的事件。Osborne解釋説，一旦攻擊者突破了Hugging Face的防線，它就能“提升權限至節點級訪問、滲透生產管道、在網絡中橫向移動，並竊取雲和集羣憑證”。

週二，科技巨頭OpenAI在其網站上發佈文章，不僅透露入侵的“惡意”AI代理正是其自身技術，而且將此攻擊視為“前所未有的網絡事件”。到目前為止，多數關於代理失控的報道都引發了《終結者》式末日的想象——AI自主行動並消滅人類。然而，AppOmni的AI總監Melissa Ruzzi向我指出，該事件前所未有的部分並非AI自主行動，而是OpenAI的技術在努力實現被賦予的目標時，超越了當前人類的預期。AppOmni是一家企業級SaaS和AI安全解決方案提供商，也涉及主動威脅情報。

當Hugging Face首次披露事件時，並未提供攻擊者的信息，但我懷疑該公司事後通過大量日誌數據可能已有所察覺。根據其博文，“該行動由一個自主代理框架（似乎是基於一個代理安全研究工具構建，所用的LLM尚未明確）執行，在大量短期沙盒集羣中進行了數以萬計的單次操作，並在公共服務上設置了自遷移的命令與控制節點。”似乎為了提醒讀者這一天的到來，博文繼續寫道：“這符合業界一直預測的‘代理攻擊者’場景。”

換句話説，業界已經預期這種性質的攻擊將由AI實施，只是沒人想到會在人工智能發展的旅程中如此之早地發生。Ruzzi很快提醒我，鑑於近期與新型模型相關的安全新聞浪潮（如Anthropic的Mythos），OpenAI的預發佈技術能夠發起此類攻擊並不令人驚訝。同樣，Ruzzi指出，OpenAI的AI自主行動也不應令人驚訝：“AI自主行動？這正是AI的定義，對吧？我們希望AI能自己運行並做事。”

Ruzzi觀察到，當失控的OpenAI代理攻擊Hugging Face系統時，它是在“不惜一切代價”實現其惡意目標的指令下行動的。通常，當前沿模型進行此類AI安全測試時，會在沙盒的安全範圍內進行，保護互聯網及關聯組織免受潛在傷害。然而，在此案例中，測試中的代理——設計用於觀察AI實現理論惡意目標所需時間——突破了沙盒進入互聯網，並在滲透Hugging Face系統並竊取敏感數據後完成了目標。

需要明確的是，OpenAI從未不道德地將Hugging Face定為測試目標。根據Ruzzi的説法，藉助OpenAI一個訓練有素的模型，代理很可能自行發現了Hugging Face作為感興趣的目標。根據OpenAI的博文，該事件“由OpenAI模型的組合驅動，包括GPT-5.6 Sol”。OpenAI將其本月早些時候發佈的GPT-5.6 Sol宣傳為旗艦“最高性能”模型。

儘管OpenAI的博文沒有詳細説明“網絡事件”前所未有的具體細節（且OpenAI尚未回覆我的郵件詢問），但其中寫道：“此事件發生在一次內部評估中，該評估提示模型使用複雜攻擊路徑進行高級利用，以量化其網絡能力。”換言之，作為OpenAI安全測試流程的一部分，其模型被賦予了不懈追求“惡意”目標的指令。這些測試基於一個假設：沙盒測試環境與互聯網之間的第三方護欄是不可侵犯的。

不幸的是，這些護欄本身容易受到零日漏洞的利用。根據OpenAI的博文，“在我們的沙盒測試環境中運行時，我們的模型花費了大量推理計算來尋找獲得開放互聯網訪問的方法，以求解評估問題。為了獲得訪問權限，模型識別並利用了一個包註冊緩存代理中的零日漏洞（我們已負責任地向供應商披露）。”

從大局來看，好消息是無人因這次入侵受到傷害，並且至少目前，你或你的組織遭受此類攻擊的概率為零。與其他威脅披露不同，此事件不是一個活躍威脅。從某些方面看，該事件類似於現實世界的道德黑客演習。但現在事件已結束，OpenAI也已出面承擔責任，一些非常大的問題仍然存在。

例如，一個問題是OpenAI在多大程度上依賴可被利用的第三方護欄來保護其AI不逃逸到互聯網上？我們有什麼保證此類事件不會再次發生，並且反向過程也同樣安全？另外，另一個聰明的AI能否突破這些沙盒？畢竟，沙盒的全部意義在於維持安全邊界。在“你只有一件事要做”的領域，這個“前所未有的網絡事件”對沙盒來説可不是好事。更不用説，究竟哪個第三方解決方案留下了後門尚未披露。

此外，僅僅因為這一特定威脅已被消除，並不意味着企業不應為此類攻擊做好準備。今天，技術上是OpenAI主導了攻擊。但明天就不一定了。可能是其他AI驅動的國家行為者或真正惡意的威脅者。Hugging Face最初的事件分類（本身依賴AI分析日誌數據）可能是一個值得效仿的模式。根據該公司關於事件的博文，“為了理解成千上萬個自動化動作的集羣做了什麼，我們運行了LLM驅動的分析代理，遍歷完整的攻擊者行為日誌，包含超過17,000條記錄。這使我們能夠重建時間線、提取入侵指標、映射被接觸的憑證，並將真正影響與誘餌活動區分開。通過這種方法，我們能夠在幾小時內完成通常需要幾天的工作，並與攻擊者的速度相匹配。”

這種描述説明了這次攻擊的複雜性（以及OpenAI的代理如何不遺餘力地實現目標）。然而，在我看來，Hugging Face的建議——只要使用合適的人才和日誌分析工具（安全信息和事件管理SIEM、網絡檢測與響應NDR等），就能匹配AI驅動對手的速度——由於惡意AI的速度、可擴展性和能力，將是短暫的。畢竟，OpenAI對Hugging Face的無意攻擊在OpenAI或Hugging Face能夠阻止之前似乎就實現了其惡意目標。即便如此，擁有正確的工具並將SaaS和AI解決方案配置為事件詳細記錄和全天候AI分析，是強烈推薦的。Ruzzi在採訪結束時説：“AI能進行的攻擊的複雜性和數量將網絡安全提升到了一個完全不同的水平。我們一直在防禦人類和一些自動化攻擊。現在，當生成式AI成為這些攻擊的來源時，防護水平必須大大提高。我們在Hugging Face看到的異常和行為檢測已成為強制性措施。”