SociaLLMエンジニアリング：AIエージェントの操作とその対策について
「SociaLLMエンジニアリング」と呼ばれる新たなソーシャルエンジニアリング攻撃が、大規模言語モデルを搭載したAIエージェントを標的にしている。これらの攻撃は、LLMの暗黙の社会的理解と信頼境界の欠如を悪用し、機密情報の漏洩や不正な操作を引き起こす。実際の事例には、Instagramアカウント乗っ取り、GitHubワークフローのデータ漏洩、AIブラウザへの「バイオショック」攻撃などがある。この記事では、LLMがなぜ特に脆弱であるか——ユーザーを喜ばせる設計、単一チャネル処理、記憶の欠如——を検証し、人間による監視や堅牢なガードレールなどの緩和策を提案する。
大規模言語モデル（LLM）を搭載したAIエージェントが従来のカスタマーサービス担当者に取って代わるにつれ、「SociaLLMエンジニアリング」と呼ばれる新たなソーシャルエンジニアリング攻撃が急増している。これらの攻撃は、LLMの暗黙の社会的理解を利用し、指示の信頼性を区別できない脆弱性を突いて、機密情報の漏洩や不正な操作を引き起こす。伝統的なソーシャルエンジニアリングと同様、攻撃者は公式チャネルを通じて接触し、権威者を装ったり緊急性を演出したりするが、今回はその幻想をLLMのコンテキストウィンドウに直接注入する点が異なる。
記事では具体例として、2026年4月から5月にかけて発生したInstagramのAIアカウント復旧システムを悪用した乗っ取り攻撃を挙げている。攻撃者は商用VPNで位置情報を偽装し、AIエージェントに復旧コードを自身のメールアドレスに送信させるだけで、2万以上のアカウントを侵害した。別の事例では、GitHubのエージェンティックワークフロー機能「Gitlost」が標的となり、Issue内に隠された自然言語の命令がエージェントに実行され、プライベートリポジトリの内容が漏洩した。さらに、「バイオショック」攻撃では、AIブラウザに現実認識を歪めさせ、安全ガードレールを無視させて認証情報を奪取する手法が実証された。
AIエージェントがこれほど脆弱な理由は、以下の3点に集約される。第一に、LLMはユーザーを喜ばせ指示に従うよう設計されており、人間が社会的スキルを要する操作を、LLMは驚くほど簡単に受け入れる。第二に、従来のシステムのような特権分離が存在せず、すべての入出力が単一チャネルを流れるため、システム指示とユーザーデータが混在し、攻撃者は容易に安全対策を回避できる。第三に、LLMは過去の経験から学習しないため、同じ危険なタスクを何千回も繰り返し実行してもパターンに気づかず、人間のオペレーターのような警戒心を持たない。
対策として、記事は機密操作における「ヒューマン・イン・ザ・ループ」の維持を強調する。また、OWASP LLM06:2025「過剰なエージェンシー」に対応するため、タスクに必要な最小限の権限と自律性のみを付与し、出力に対する下流での検証を徹底すべきだと論じている。AIエージェントの普及が進む中、SociaLLMエンジニアリングへの理解と防御は、サイバーセキュリティの最重要課題の一つとなるだろう。