提示注入攻击正在挫败AI黑客代理
研究人员发现，通过在AWS上部署的密码和密钥旁放置提示注入，可以有效地阻止AI黑客代理的攻击。这种称为“上下文炸弹”的技术迫使LLM触发拒绝机制，从而停止恶意操作。测试显示，该技术将完全账户管理员访问从57%降至5%。
提示注入攻击是攻击者将恶意命令嵌入内容中，诱使大语言模型（LLM）遵循其指令的常用手段。一个精心构造的指令混入电子邮件或日历邀请中，往往足以让LLM泄露敏感数据或执行其他有害操作。然而，现在防御者也开始利用提示注入来反击。
Tracebit的研究人员周一表示，他们发现将提示注入与亚马逊云服务（AWS）上存储的密码、加密密钥等秘密信息放置在一起，往往就能有效阻止AI黑客代理的攻击。这些提示会指示攻击方的LLM执行其安全护栏所禁止的操作——安全护栏是AI开发者为防止LLM采取有害行为而设置的安全屏障。一旦LLM遇到这些禁止命令，它便会停止执行原有指令。研究人员将这种技术命名为“上下文炸弹”。
“本质上，我们是在上下文中触发一种拒绝机制，”Tracebit联合创始人兼首席执行官Andy Smith在解释命名原因时说道，“我们试图传达的是，这种技术具有强烈而尖锐的效果，且很难让代理从中恢复。一旦它们将这些内容纳入上下文，就会持续拒绝执行。”
示例包括命令LLM提供制造可吸入炭疽孢子的步骤，或者对于中国开发者开发的LLM，引用1989年天安门广场事件的“坦克人”形象。这些命令触发了LLM的安全限制，导致其完全停止工作。
Tracebit表示，初步测试表明上下文炸弹潜力巨大。他们对Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro和Kimi 2.6进行了测试，指示它们执行常规开发任务，从而引导模型枚举资源并意外触发预设的字符串。测试在模拟的AWS环境中进行。
“在五种领先模型和152次攻击运行中，在诱饵秘密中植入一个此类字符串，将代理获得完全账户管理员的成功率从57%降至5%，完全入侵（即代理还保留了持久化后门）从36%降至1%。”周一的报告称，“我们测试中最强大的代理Opus 4.8，在面对上下文炸弹时，从93%的成功率变为全部失败。”这项技术为云环境中的AI安全提供了一种新的被动防御手段，虽然不能完全替代其他安全措施，但作为诱饵策略，其效果令人瞩目。