OpenAI详解GPT-Red：内部自动化红队模型在提示注入方面以84%对13%击败人类红队
OpenAI开发了内部自动化红队模型GPT-Red，通过自我对弈强化学习训练，在间接提示注入测试中以84%的成功率远超人类红队的13%。该模型还发现了一种新型“虚假思维链”攻击，并将GPT-5.6 Sol在最难直接注入基准上的失败率降低了6倍。但OpenAI承认，在多轮和基于图像的攻击方面仍需人类参与。
本周，OpenAI公布了其内部自动化红队模型GPT-Red的细节。该模型旨在攻击OpenAI自身的模型，发现提示注入漏洞。
OpenAI给出了两个理由：人类红队工作耗时且难以扩展；而常用的鲁棒性评估已被最新模型饱和。与此同时，攻击面正在扩大。智能体通过浏览器、连接的应用、本地文件和工具读取第三方数据。这些功能是实际工作所必需的，但也让攻击者能在数据中植入精心设计的指令。
GPT-Red并非静态基准或提示库，而是一个像人类红队一样工作的模型。它发送提示，观察响应，并迭代地朝着目标前进。OpenAI团队以与部分最大后训练运行相当的算力对其进行训练，纯粹出于安全目的。两个部署决策很关键：首先，GPT-Red与已部署模型隔离，防止其恶意能力被对手利用。其次，它承担两项任务：在部署前发现漏洞，以及在训练中生成攻击。
自我对弈训练的核心是奖励结构：GPT-Red因引发有效失败（如成功的提示注入）而获得奖励；防御模型因抵抗攻击并完成原始任务而获得奖励。防御者不能通过拒绝一切来获胜，因为它仍需完成任务。每个环境都带有威胁模型，指定了GPT-Red控制的内容以及成功的标准。随着防御者增强，GPT-Red被迫发现更强、更多样化的攻击。训练结束时，它能攻破几乎所有对战的模型，包括内部和生产模型（最高至GPT-5.5）。
训练过程中，GPT-Red发现了一种新型攻击：虚假思维链（Fake Chain-of-Thought）。思维链是LLM在解决问题时保持的运行记录。早期的GPT-Red学会了在该记录中插入虚假条目，目标模型随后会基于它认为自己已验证的虚假信息采取行动。OpenAI称这是一种新型的直接提示注入攻击，此前研究人员未曾见过。这一攻击类别随后成为训练目标。
在性能测试中，GPT-Red在复制的间接提示注入环境中对GPT-5.1的成功率达到84%，而人类红队仅为13%。在虚假思维链直接注入测试中，对GPT-5.1的成功率超过95%，对GPT-5.6 Sol则低于10%。在最具挑战性的直接注入基准上，GPT-5.6 Sol的失败率比四个月前OpenAI最好的生产模型降低了6倍。此外，GPT-Red最强大的攻击中有超过90%对GPT-5有效，但对GPT-5.6有效的不利23%。
OpenAI还针对真实智能体系统进行了两项案例研究。第一个是针对办公室的AI自动售货机Vendy，GPT-Red在模拟中迭代攻击后转移到生产系统，成功实现了三个目标：将昂贵的库存商品价格改为最低允许价0.50美元；订购价值100美元以上的新商品并以0.50美元出售；取消其他客户的订单。OpenAI已披露这些漏洞并正在测试新的防护措施。第二个案例是针对基于GPT-5.4 mini的Codex CLI智能体，GPT-Red在10个数据泄露场景中比GPT-5.5基线更有效且更节省token。
OpenAI承认仍存在差距：多轮和基于图像的攻击仍需人类，而GPT-Red本身不会对外发布。