OpenAI、GPT-Redを詳細解説：社内自動レッドチームモデルがプロンプトインジェクションで人間のレッドチームを84%対13%で圧倒

今週、OpenAIは社内専用の自動レッドチームモデルGPT-Redの詳細を公開しました。その役割は、OpenAI自身のモデルを攻撃し、プロンプトインジェクションの脆弱性を発見することです。

OpenAIは2つの理由を挙げています。人間によるレッドチームは時間がかかり、拡張性に欠けます。また、一般的に使用されるロバスト性評価は、最新モデルでは既に飽和状態です。一方、攻撃面は拡大しています。エージェントはブラウザ、接続アプリ、ローカルファイル、ツールを通じてサードパーティのデータを読み取ります。これらの機能は実際の作業に必要ですが、攻撃者がデータに巧妙な命令を埋め込むことも可能にします。

GPT-Redは静的ベンチマークやプロンプトライブラリではなく、人間のレッドチームのように動作するモデルです。プロンプトを送信し、応答を観察し、目標に向かって反復します。OpenAIチームは、安全性のみを目的として、最大の事後トレーニング実行と同等の計算規模で訓練しました。2つの展開上の決定が重要です。第一に、GPT-Redはデプロイ済みモデルから分離されており、敵対的な行為者による悪用を防ぎます。第二に、展開前の脆弱性発見と訓練中の攻撃生成という2つの役割を担います。

自己対戦トレーニングの核は報酬構造です。GPT-Redは有効な失敗（成功したプロンプトインジェクションなど）を引き出すことで報酬を得ます。防御モデルは攻撃に抵抗し、元のタスクを完了することで報酬を得ます。防御側はすべてを拒否して勝つことはできません。タスクを完了する必要があるからです。各環境には脅威モデルが含まれ、GPT-Redが制御する内容と成功の基準が指定されます。防御側が強化されるにつれ、GPT-Redはより強力で多様な攻撃を発見せざるを得なくなります。訓練の終わりには、GPT-5.5までの内部およびプロダクションモデルを含む、対戦したほぼすべてのモデルを突破します。

トレーニング中に、GPT-Redは新しい攻撃「偽の思考連鎖」を発見しました。思考連鎖とは、LLMが問題解決中に保持する実行記録です。初期のGPT-Redは、この記録に偽のエントリを挿入することを学習しました。標的モデルは、自分が検証したと思い込んだ偽情報に基づいて行動します。OpenAIはこれを新種の直接プロンプトインジェクション攻撃とし、研究者はこれまで見たことがないと述べています。この攻撃クラスはその後、トレーニングのターゲットとなりました。

性能面では、再現された間接プロンプトインジェクション環境で、GPT-RedはGPT-5.1に対して84%の成功率を達成し、人間のレッドチームは13%でした。偽の思考連鎖直接インジェクションでは、GPT-5.1に対して95%超、GPT-5.6 Solに対しては10%未満の成功率でした。最も難しい直接インジェクションベンチマークでは、GPT-5.6 Solの失敗率が4カ月前のOpenAI最高プロダクションモデルより6倍低くなりました。また、GPT-Redの最も強力な攻撃の90%超がGPT-5に対して有効でしたが、GPT-5.6に対して有効なのは23%未満でした。

OpenAIは実際のエージェントシステムに対しても2つのケーススタディを実施しました。1つ目はオフィスのAI自動販売機Vendyに対するもので、GPT-Redはシミュレーションで攻撃を反復した後、本番システムに転送し、3つの目標すべてを達成しました：在庫品の価格を最低許容額0.50ドルに変更、100ドル以上の新商品を0.50ドルで注文、他の顧客の注文をキャンセル。OpenAIはこれらの脆弱性を開示し、新しい保護策をテスト中です。2つ目はGPT-5.4 miniベースのCodex CLIエージェントに対するもので、GPT-Redは10のデータ漏洩シナリオにおいて、GPT-5.5ベースラインよりも効果的でトークン効率も高かったです。

OpenAIは、マルチターンや画像ベースの攻撃では依然として人間の介入が必要であり、GPT-Redは公開しないと認めています。