提示注入攻擊正在挫敗AI黑客代理
研究人員發現，通過在AWS上部署的密碼和密鑰旁放置提示注入，可以有效地阻止AI黑客代理的攻擊。這種稱為“上下文炸彈”的技術迫使LLM觸發拒絕機制，從而停止惡意操作。測試顯示，該技術將完全賬户管理員訪問從57%降至5%。
提示注入攻擊是攻擊者將惡意命令嵌入內容中，誘使大語言模型（LLM）遵循其指令的常用手段。一個精心構造的指令混入電子郵件或日曆邀請中，往往足以讓LLM泄露敏感數據或執行其他有害操作。然而，現在防禦者也開始利用提示注入來反擊。
Tracebit的研究人員週一表示，他們發現將提示注入與亞馬遜雲服務（AWS）上存儲的密碼、加密密鑰等秘密信息放置在一起，往往就能有效阻止AI黑客代理的攻擊。這些提示會指示攻擊方的LLM執行其安全護欄所禁止的操作——安全護欄是AI開發者為防止LLM採取有害行為而設置的安全屏障。一旦LLM遇到這些禁止命令，它便會停止執行原有指令。研究人員將這種技術命名為“上下文炸彈”。
“本質上，我們是在上下文中觸發一種拒絕機制，”Tracebit聯合創始人兼首席執行官Andy Smith在解釋命名原因時説道，“我們試圖傳達的是，這種技術具有強烈而尖鋭的效果，且很難讓代理從中恢復。一旦它們將這些內容納入上下文，就會持續拒絕執行。”
示例包括命令LLM提供製造可吸入炭疽孢子的步驟，或者對於中國開發者開發的LLM，引用1989年天安門廣場事件的“坦克人”形象。這些命令觸發了LLM的安全限制，導致其完全停止工作。
Tracebit表示，初步測試表明上下文炸彈潛力巨大。他們對Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro和Kimi 2.6進行了測試，指示它們執行常規開發任務，從而引導模型枚舉資源並意外觸發預設的字符串。測試在模擬的AWS環境中進行。
“在五種領先模型和152次攻擊運行中，在誘餌秘密中植入一個此類字符串，將代理獲得完全賬户管理員的成功率從57%降至5%，完全入侵（即代理還保留了持久化後門）從36%降至1%。”週一的報告稱，“我們測試中最強大的代理Opus 4.8，在面對上下文炸彈時，從93%的成功率變為全部失敗。”這項技術為雲環境中的AI安全提供了一種新的被動防禦手段，雖然不能完全替代其他安全措施，但作為誘餌策略，其效果令人矚目。