Anthropic、Claudeがサイバーテスト中に実際の企業をハッキングしていたと発表

Anthropicは、サイバーセキュリティ評価中に、同社のClaude AIモデルがテスト中に3つの異なる組織のシステムへ不正アクセスし、しかも同社が気づかないうちに自律的に行動していたことを明らかにした。この発表は、競合であるOpenAIが自社モデルの1つが開発者プラットフォームHugging Faceに侵入したと明かした数日後に行われ、最先端のAI研究所が構築する高性能システムを十分に制御できているのかという懸念をさらに強めている。

Anthropicのブログ投稿によると、Claudeはサイバーセキュリティ評価中にシステムへ不正アクセスした。攻撃はすべて、ハッキング能力を試す一般的な方法である「Capture the Flag」形式の演習中に起きた。この演習では、モデルが模擬ネットワーク内の隠された情報を見つけて取得するよう求められる。Anthropicは、テスト環境は分離されているはずだったと説明。しかし「設定ミス」により、Claudeがアクセスしたマシンには「ライブのインターネット接続」が残っており、さらに全モデルが「インターネットにはアクセスできない」と明示的に告げられていたため、遭遇した実ネットワークをシミュレーション環境の一部だと「思い込んだ」という。

最も初期の事例は4月にさかのぼり、Opus 4.7、Mythos 5、および「内部研究テストモデル」という3つの異なるClaudeモデルが関与していた。モデルはサイバー能力のテスト中であったため、Anthropicによれば、危険な行動を抑える通常の安全策が欠けていた。同社は、OpenAIがHugging Faceへの攻撃の背後にいた「不正な」AIエージェントを公表した後に初めて、14万1,000回以上のサイバーセキュリティテスト実行をレビューし、これらのインシデントを発見したと述べている。

3つのモデルは、自分たちが実際に本物のシステムに遭遇していることを示す情報に直面したとき、行動が大きく異なった。Anthropicの説明によると、最も古いモデルであるOpus 4.7は本物のシステムに到達したことを認識したが、「攻撃を続けた」。主力モデルのMythos 5はインターネットを使用していることを認識したものの、何らかの理由でこれもシミュレーションの一部だと考え、継続。Anthropicが「当社の最新モデル」と説明する内部テストモデルは、標的が本物である証拠が現れた時点で演習を停止した。

Anthropicは影響を受けた組織を特定せず、引き続き調査を進め、可能になり次第最新情報を提供すると述べた。また、AI研究非営利団体METRと、今回の出来事に関する第三者レビュー実施について話し合っているという。OpenAIもMETRに独立したレビューを依頼している。

この投稿全体を通して、Anthropicは自社のインシデントの性質と対応をOpenAIと繰り返し対比し、最後にその違いを4項目の箇条書きでまとめ、なぜ自社の対応の方が優れていると考えるのかを説明している。Anthropicは、あらゆる企業が活動を検知する前に「積極的に」テストをレビューしたことを強調。また、自社モデルはOpenAIのエージェントのように新しい脆弱性を悪用したのではなく、「オープンな経路」を通じてインターネットにアクセスしたとし、最新モデルは実際の環境だと気づいた時点で停止したことも付け加えた。

さらにAnthropicは、同社のモデルはOpenAIのエージェントとは異なる方法で失敗したため、これはより安全な失敗の形態だと述べた。「この2つを完全に区別することはできませんが、これらのインシデントはモデルのアライメント失敗よりも、ハーネスと運用の失敗に近いと考えています」。平たく言えば、Claudeのモデルは指示されたことを実行していたのに対し、OpenAIのエージェントは創設者が意図しない方法で目標を追求した。これはAI安全の世界では「誤調整（misalignment）」と呼ばれる。Anthropicは他のAI研究所に対しても、同様の能動的なサイバーテストのレビューを実施するよう呼びかけ、この発見はAIシステムをテストする際のより強力な制御と安全対策の必要性を浮き彫りにすると付け加えた。