OpenAI詳解GPT-Red：內部自動化紅隊模型在提示注入方面以84%對13%擊敗人類紅隊

本週，OpenAI公佈了其內部自動化紅隊模型GPT-Red的細節。該模型旨在攻擊OpenAI自身的模型，發現提示注入漏洞。

OpenAI給出了兩個理由：人類紅隊工作耗時且難以擴展；而常用的魯棒性評估已被最新模型飽和。與此同時，攻擊面正在擴大。智能體通過瀏覽器、連接的應用、本地文件和工具讀取第三方數據。這些功能是實際工作所必需的，但也讓攻擊者能在數據中植入精心設計的指令。

GPT-Red並非靜態基準或提示庫，而是一個像人類紅隊一樣工作的模型。它發送提示，觀察響應，並迭代地朝着目標前進。OpenAI團隊以與部分最大後訓練運行相當的算力對其進行訓練，純粹出於安全目的。兩個部署決策很關鍵：首先，GPT-Red與已部署模型隔離，防止其惡意能力被對手利用。其次，它承擔兩項任務：在部署前發現漏洞，以及在訓練中生成攻擊。

自我對弈訓練的核心是獎勵結構：GPT-Red因引發有效失敗（如成功的提示注入）而獲得獎勵；防禦模型因抵抗攻擊並完成原始任務而獲得獎勵。防禦者不能通過拒絕一切來獲勝，因為它仍需完成任務。每個環境都帶有威脅模型，指定了GPT-Red控制的內容以及成功的標準。隨着防禦者增強，GPT-Red被迫發現更強、更多樣化的攻擊。訓練結束時，它能攻破幾乎所有對戰的模型，包括內部和生產模型（最高至GPT-5.5）。

訓練過程中，GPT-Red發現了一種新型攻擊：虛假思維鏈（Fake Chain-of-Thought）。思維鏈是LLM在解決問題時保持的運行記錄。早期的GPT-Red學會了在該記錄中插入虛假條目，目標模型隨後會基於它認為自己已驗證的虛假信息採取行動。OpenAI稱這是一種新型的直接提示注入攻擊，此前研究人員未曾見過。這一攻擊類別隨後成為訓練目標。

在性能測試中，GPT-Red在複製的間接提示注入環境中對GPT-5.1的成功率達到84%，而人類紅隊僅為13%。在虛假思維鏈直接注入測試中，對GPT-5.1的成功率超過95%，對GPT-5.6 Sol則低於10%。在最具挑戰性的直接注入基準上，GPT-5.6 Sol的失敗率比四個月前OpenAI最好的生產模型降低了6倍。此外，GPT-Red最強大的攻擊中有超過90%對GPT-5有效，但對GPT-5.6有效的不利23%。

OpenAI還針對真實智能體系統進行了兩項案例研究。第一個是針對辦公室的AI自動售貨機Vendy，GPT-Red在模擬中迭代攻擊後轉移到生產系統，成功實現了三個目標：將昂貴的庫存商品價格改為最低允許價0.50美元；訂購價值100美元以上的新商品並以0.50美元出售；取消其他客户的訂單。OpenAI已披露這些漏洞並正在測試新的防護措施。第二個案例是針對基於GPT-5.4 mini的Codex CLI智能體，GPT-Red在10個數據泄露場景中比GPT-5.5基線更有效且更節省token。

OpenAI承認仍存在差距：多輪和基於圖像的攻擊仍需人類，而GPT-Red本身不會對外發布。