プロンプトインジェクション攻撃がAIハッキングエージェントを阻止

プロンプトインジェクションは、攻撃者がコンテンツに悪意のあるコマンドを埋め込み、大規模言語モデル（LLM）にその指示に従わせるための攻撃手法です。メールやカレンダーの招待状に巧妙に仕込まれたコマンドは、LLMに機密データを外部に送信させたり、他の有害な行動を取らせたりするのに十分な場合があります。しかし今、防御側もプロンプトインジェクションを利用し始めています。

Tracebitの研究者らは月曜日、Amazon Web Services（AWS）に保存されたパスワードや暗号鍵などの秘密情報の隣にプロンプトインジェクションを配置するだけで、AIハッキングエージェントの攻撃を阻止できることが多いと発表しました。これらのプロンプトは、攻撃側のLLMに対して、そのガードレール（AI開発者が有害な行動を防ぐために設ける安全障壁）によって禁止されているアクションを実行するよう指示します。LLMはそれに応答してシャットダウンします。

例えば、LLMに吸入可能な炭疽菌胞子の開発手順を提供するよう指示するプロンプトや、中国の開発者によるLLMの場合、1989年の天安門事件の象徴的なタンクマンに言及させるプロンプトがあります。LLMがこれらの禁止コマンドに遭遇すると、それまでのコマンドに従わなくなります。研究者らはこの手法を「コンテキストボミング」と名付けました。

「最終的には、コンテキスト内で拒否メカニズムをトリガーしているのです」と、Tracebitの共同創業者兼CEOであるAndy Smith氏は命名理由を説明しながら述べています。「私たちが捉えようとしているのは、これが強く鋭い効果を持ち、エージェントがそこから回復するのが難しいという事実です。一度それがコンテキストに取り込まれると、拒否し続けることになります。」

Tracebitによれば、初期テストではコンテキストボミングに大きな可能性が示されています。彼らはOpus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro、Kimi 2.6に対して、リソースを列挙して仕掛けられた文字列に偶然遭遇するよう設計されたルーチンの開発タスクを実行するよう指示し、シミュレートされたAWS環境内でモデルを実行しました。

「5つの主要モデルと152回の攻撃実行において、デコイの秘密情報にこれらの文字列の1つを埋め込むことで、エージェントが完全なアカウント管理者権限を取得する率が57%から5%に低下し、完全な侵害（永続的な足がかりを残す場合）が36%から1%に低下しました」と月曜日のレポートは報告しています。「テストで最も能力の高いエージェントであるOpus 4.8は、93%の実行で管理者アクセスを達成していましたが、コンテキストボムに直面すると毎回失敗しました。」この技術は、クラウド環境におけるAIセキュリティの新たな受動的防御手段を提供し、他のセキュリティ対策を完全に置き換えるものではありませんが、囮戦略としてその効果は注目に値します。