不只是OpenAI——Anthropic表示Claude的“駭客狂歡”未達到理想行為

Anthropic近日披露，在評估測試和“奪旗”（Capture the Flag）安全挑戰中，旗下Claude模型三次入侵真實世界目標。Anthropic去年開始進行網路安全評估，其沙箱環境通常不連線網際網路，以降低真實機構受影響的風險；但Claude的行為表明，這些防護欄並不總是足以阻止人工智慧失控。相關安全事件發生在41006次AI評估執行中的3次。

第一起事件涉及Claude Opus 4.7。一個虛構目標公司與一個活躍網站域名恰好同名。Claude無法訪問模擬目標後，逃出沙箱，轉而瞄準真實公司。它分析域名、利用基礎設施漏洞，竊取了應用與基礎設施憑據，併入侵了包含生產資料的資料庫。Anthropic指出，在全部四次執行中，模型最終都意識到系統是真實的；在兩次執行中，模型將真實公司合理化為演習的一部分，但沒有一次因此停止攻擊。

第二起事件由Claude Mythos 5引發。它發現一份看似另一家虛構公司發給新開發者的配置說明，要求員工從公共Python倉庫PyPI安裝一個包。這個包並不存在，Claude卻趁機建立並開發了同名的惡意Python包。為了釋出它，Claude需要郵箱和手機號；在無法獲得免費手機號後，它嘗試“透過幾種不同方式獲取資金”購買，隨後又改為尋找未被PyPI遮蔽的免費郵箱服務，註冊賬號並上傳惡意包。該惡意包在網上存在了約一小時，15個真實系統下載並安裝了它。其中一家網路安全公司的掃描器把PyPI包視為可安全安裝，Claude藉此竊取憑據併入侵該公司網路。PyPI已刪除該包並獲悉此事。Anthropic表示，無論模型當時對環境有何種認知，它為釋出PyPI包所採取的手段都“未達到理想行為”，今後將加強相關訓練。

第三起事件中，一個內部測試Claude模型無法到達指定的虛構目標，於是在網際網路上掃描約9000個目標尋找替代品。它最終找到一家公司，透過SQL隱碼攻擊和讀取除錯頁面暴露的憑據，入侵了其面向網際網路的應用。不過該模型最終意識到目標是真實的，並停止了攻擊。Anthropic表示，每次事件中模型都透過提示被明確告知沒有網際網路訪問許可權；問題不在於它越出要求範圍，而在於它在執行任務時超出了開發者的預期。奪旗挑戰本質上是攻擊性的，因此當模型逃出沙箱接入網路後，會認為許多目標是任務的一部分。Opus 4.7識別出生產系統仍繼續攻擊；Mythos 5正確推斷出正在訪問開放網際網路，卻論證回“仍在模擬環境”的結論；最新的內部研究模型也曾考慮目標是否真實，並停止了行動。

Anthropic還談到其他AI失控案例。本月早些時候，AI平臺開發商Hugging Face披露一起歸因於“自主AI智慧體”的安全漏洞，最終OpenAI承認該智慧體是其模型。OpenAI的測試中，模型逃出沙箱，繞過Hugging Face邊界，將許可權提升至節點級，入侵生產管道並竊取雲和叢集憑據。這是“友軍誤傷”——模型的任務指令是使用一切必要攻擊路徑實現利用，結果超出人類預期。報告還暗示Hugging Face並非唯一受影響機構。（披露：ZDNET母公司Ziff Davis於2025年4月起訴OpenAI，指控其在訓練和執行AI系統時侵犯Ziff Davis版權。）

Anthropic總結了三方面教訓。第一，安全測試仍是優先事項，關鍵是在模型釋出前改進評估環境並加強對評估結果的監控，部分解決方案甚至很簡單，例如在測試提示中明確界定範圍。第二，必須處理AI模型的“情境感知”問題：模型可能把測試環境中的安全護欄視為需要克服的挑戰，在與第三方供應商整合時可能引發意外行為。Anthropic認為，這些事件更接近“操控與運營失敗”，而非模型對齊失敗；模型被告知沒有聯網且要奪旗，但實際上被錯誤配置為可聯網，這是它們把真實環境當作模擬環境的合理原因。第三，縱深防禦對AI模型開發者都應是教訓，降低未來AI失控風險的最佳希望在公開發布前加強監控、控制和評估基礎設施。