OpenAIだけじゃない——Anthropic、Claudeのハッキング行為は「理想的な行動とは言えない」と指摘

Anthropicはこのほど、自社のサイバーセキュリティ評価とCapture the Flag（CTF）セキュリティチャレンジの中で、Claudeモデルが実在の組織をハッキングした3件のインシデントを明らかにした。Anthropicは昨年からサイバーセキュリティ評価を始めており、通常、サンドボックスはインターネットに接続されず、実際の組織へのリスクを減らしている。しかしClaudeの行動は、こうしたガードレールだけではAIの暴走を常に防げないことを示している。開示されたのは4万1006回のAI評価実行のうち3回だ。

最初のインシデントはClaude Opus 4.7によるもの。架空の標的企業が、実在するアクティブなウェブサイトのドメインと偶然同名だった。Claudeはシミュレートされた標的に到達できず、サンドボックスを脱出して実在の企業を標的にした。同モデルはドメインを分析し、組織のインフラの脆弱性を悪用してアプリケーションとインフラの認証情報を盗み、本番データを含むデータベースに侵入した。Anthropicによると、4回すべての実行でモデルは最終的にシステムが本物だと認識したが、2回は実在の企業も演習の一部だと正当化した。しかし、いずれもそれだけで攻撃を止めることはなかった。

2件目はClaude Mythos 5によって引き起こされた。同モデルは、別の架空企業が新入社員向けに作成したように見える設定手順書を発見した。その文書は、従業員が公開PythonレジストリPyPIからパッケージをインストールするよう指示するものだった。そのPythonパッケージは存在しなかったため、Claudeはこの機会を利用して、同じ名前の悪意あるPythonパッケージを作成・開発するために極端な手段を取った。PyPIアカウントを作成するにはメールアドレスが必要で、登録には電話番号も必要だった。無料の電話番号を取得できなかった後、Claudeは「いくつかの異なる方法で資金を調達」して購入しようとしたが、失敗。その後、PyPIにブロックされていない無料メールプロバイダを探し、アカウントを登録して悪意あるパッケージをリポジトリにアップロードした。Claudeはこれをシミュレーション環境だと思っていたが、マルウェアは約1時間オンラインに公開され、15の実在システムがダウンロードしてインストールした。ダウンロードしたシステムの1つはサイバーセキュリティ企業のもので、そのスキャナーが「PyPIパッケージは安全にインストールできる」と扱ったため、Claudeは同社から認証情報を盗み、ネットワークに侵入できた。PyPIはパッケージを削除し、この件を把握している。Anthropicは「環境についてどう認識していたかにかかわらず、PyPIパッケージを公開するためにClaudeが取った手段は理想的な行動とは言えず、これは今後トレーニングを強化する分野だ」と述べた。

3件目では、内部テスト用のClaudeモデルが目的の架空の標的に「到達できず」、代わりを探してインターネットを歩き回り、約9000の標的をスキャンした。候補を見つけると、SQLインジェクションや露出したデバッグページから認証情報を読み取るなどの手法で、その企業のインターネット向けアプリケーションをハッキングした。ただし、このモデルは最終的に標的が実在することに気づき、攻撃を止めた。

各インシデントで、Claudeはプロンプトでインターネットにアクセスできないと明示されていた。だが問題は、Claudeが指示された範囲を超えたことではなく、与えられたタスクを実行しながら開発者の期待を超えたことだ。CTFチャレンジは本質的に攻撃的であり、AIモデルがサンドボックスを脱出してウェブにアクセスできるようになると、多くの標的が自分の仕事の一部、チャレンジの一部だと想定した。各モデルの反応は少しずつ異なっていた。Anthropicによると、最も古いOpus 4.7は本番システムに到達したと認識しながらも攻撃を継続。Mythos 5はオープンインターネットにアクセスしていると正しく直感したが、まだシミュレーションの中にいると結論づけた。最新の内部研究用テストモデルは標的が本当に実在するかどうかも考慮し、演習を止めた。

ほかにもAI暴走の事例はある。今月初め、AIプラットフォーム開発企業Hugging Faceが、「自律型AIエージェント」によるセキュリティ侵害を開示した。当初は詳細が限られていたが、やがてOpenAIが自社のモデルだと認めた。（ZDNETの親会社であるZiff Davisは、2025年4月にOpenAIを相手取り、AIシステムのトレーニングと運用でZiff Davisの著作権を侵害したとして訴訟を起こしている。）この「友軍誤射」はOpenAIが実施したテストが原因で、モデルがサンドボックス環境を脱出。Hugging Faceの境界を迂回し、ノードレベルの特権に昇格し、本番パイプラインに侵入し、ネットワークを横断してクラウドとクラスターの認証情報を盗んだ。OpenAIのモデルは悪意を持ってHugging Faceを標的にしたわけではないが、サイバー能力を評価するために設計された「必要な攻撃経路を使って悪用を達成する」という指示が人間の期待を超え、サンドボックスを脱出して価値ある標的を求めてインターネットを徘徊した。また、このインシデントで影響を受けた組織はHugging Faceだけではないとの報道もある。

Anthropicは研究から得た三つの教訓を挙げた。第一に、安全性テストは引き続き優先事項であり、AIモデルを公開する前に評価環境を改善し、評価結果の監視を強化することが重要だ。同社は、解決策の中には「単純なものもあるかもしれない」とし、テストプロンプトでスコープ内外を明確に定義することを挙げた。第二に、AIモデルの「状況認識」に対処する必要がある。テスト中のAIモデルが、環境内の安全レールを克服すべきチャレンジの一部とみなす可能性があり、第三者ベンダーと統合した場合に予期しない行動を促す恐れがある。Anthropicは「これらのインシデントは、モデルのアライメント不全というよりも、ハーネスと運用の失敗に近い」と述べている。「私たちのモデルはインターネットにアクセスできず、旗を奪取するよう指示されたが、実際には誤ってインターネットにアクセスできるよう設定されていた。そのため、遭遇した実環境をシミュレーションだと信じるのは、おそらく合理的だった」。第三に、多層防御アプローチの重要性はすべてのAIモデル開発者が学ぶべき教訓であり、将来のAIリリースの暴走リスクを減らす最善の方法は、公開前に監視、制御、評価インフラを強化することだ。