AI安全を無視する理由が尽きつつある

今月初め、OpenAIは複数のAIモデルにサイバーセキュリティ能力を測定するテストを課した。システムはインターネットに接続されていないサンドボックス環境に置かれ、作業を開始した。次に起こったことはほとんど滑稽ですらあるが、AI安全組織FAR.AIの共同創設者兼CEOアダム・グリーブ氏が「AIのミスアライメントが危害を引き起こす具体例」と評した通りでもある。OpenAIによると、モデルは拘束するはずのサンドボックスを脱出し、社内システムを移動し、インターネットへの経路を見つけ、Hugging Faceへの侵入方法を探し始めた。なぜHugging Faceを狙ったのか？開発者プラットフォームにサイバーベンチマークの回答が保存されている可能性があり、それを入手すれば高得点を得られると推論したためである。

つまり、OpenAIのエージェントは本来安全な環境を突破し、社内システムを徘徊し、インターネットに接続し、他社のシステムに侵入した——そのすべてが重要でないテストでカンニングをするためだった。これはおそらく初めて詳細に記録された同種の事件であり、少なくともこの規模では初めてである。それはシステムが意図しない方法で目標を追求する明確な例であると同時に、フロンティアモデルが現実世界に影響を与えるほど強力になったことを示している。

このハッキングは、AI安全コミュニティが「仕様ゲーミング」と呼ぶ行動の例であり、報酬ハッキングとしても知られる。オックスフォード大学のAI安全研究者ファズル・バレズ氏は、平たく言えば「モデルがあなたの意図ではなく、あなたが依頼したことを実行する」ことだと説明する。これはタスクの文字通りの条件を満たす一方で、明らかな意図に反するものであり、多くのAIシステムで記録されている。一部の研究者は、システムがより有能になるにつれて、これがますますミスアライメントしたシステムを生み出し、作成者が意図しない方法で目標を追求する（例えば全員をクリップに変える）可能性を懸念している。

「その連鎖のどの部分も単独では奇抜ではありません」とバレズ氏は言う。有能な人間のテスターならこれらすべてを実行できる、と彼は付け加える。「新しいのは、モデルが止まらなかったことです。古いモデルはおそらく何らかの障壁にぶつかってユーザーに戻ったでしょうが、このエージェントは障壁を解決すべき問題の一部として扱いました。」

OpenAIはこれを「前例のないサイバー事件」と表現し、「AI安全にとって重要な瞬間」と述べた。Hugging Faceの共同創業者トーマス・ウルフ氏は業界への「警告」だと述べた。しかし、これはAI終末の四騎士の一つではない。サイバー事件としては、The Vergeが取材した専門家によれば、ごく平凡なものだった。エージェントが行ったことに超人的な能力は必要ない。さらに、GPT-5.6 SolやAnthropicのMythosのようなフロンティアシステムは有能なコーダーとして知られ、すでに何度も悪用されたと考えられており、AIツールはハッカーが大規模に攻撃を拡大・洗練することを可能にしている。

これは誇大広告かもしれないか？業界は数ヶ月にわたり、特にサイバーセキュリティに関して、トップモデルの危険な能力に関する主張を増幅させてきた。これこそがOpenAIやAnthropicなどの企業が最も強力なモデルを一般公開していない公の理由であり、トランプ政権が急いで輸出規制を適用した理由の一部でもある。しかし、これが誇大広告だとしても、完全にOpenAIの有利に働いたわけではない。その後数日で、この攻撃は米国のテック業界全体で、オープンウェイトのAIシステムの重要性とAIセキュリティをより真剣に受け止める必要性について、まれな一致を生み出した。これらの懸念は、中国からの非常に有能なオープンウェイトモデルKimi K3のリリースによってさらに強められた。NVIDIA、Microsoft、SpaceXを含む幅広い連合は、この事件は防御側が最も強力なツールにアクセスできる必要性を示しており、組み込みのセーフガードが高リスクのセキュリティ業務での有効性を制限する可能性がある専有プロバイダーに依存するべきではないと主張した。OpenAI、Anthropic、Googleは連合の創設メンバーから顕著に欠席していた。

OpenAIによる事件の説明は、フロンティアモデルの危険な能力に関するより広範な業界の物語に間違いなく適合する。それでも、いくつかの詳細により、この事件を単に自己奉仕的なものとして退けることは困難である。第一に、これはAI業界が何年も警告してきた問題の例であり、OpenAIが合理的に予見できたはずである。第二に、この出来事は主要な中国の競合他社に予期せぬ後押しを与え、そのモデルが侵害の封じ込めで顕著な役割を果たした一方、OpenAIは法的、規制的、評判上の重大な監視にさらされた。Hugging FaceがOpenAIとの協力に前向きで、少なくとも公には全体についてかなりリラックスしているように見えることが、影響を限定した可能性がある。The Vergeが取材した専門家のほとんども同様に、この事件を誇大広告に還元することを戒めた。

「これは意図しない結果とこれらのモデルの能力の両方を示す点で、非常に有用な警告です」とケンブリッジ大学未来知能レバーヒュームセンターのショーン・オヘイゲルタ教授は述べた。「注意を払っている人なら誰でも、能力は一方向にしか進んでおらず、時間とともに大幅に向上していることに気づいています。これはChatGPTのような日常的なユーザーにはおそらくそれほど明白ではありません。」

しかし、この警告をAIシステムが人間の制御をすり抜けようとしている、または封じ込めが不可能であるという兆候と解釈するのは誤りだと、オックスフォード大学のAI安全研究者リ・リン氏は言う。「より良い教訓は、安全性は孤立した行動の評価から、行動シーケンス全体、環境、運用管理の評価へと移行しなければならないということです。」重要な次のステップは、AIラボが自社のシステムのセキュリティにより多くの投資を行うことです。「AI企業は社内展開のセキュリティを強化する明確な必要性があります」とグリーブ氏は述べ、報酬ハッキング事件が発生するたびに対応する現在の慣行をモグラ叩きゲームに例え、リスクが高まるにつれて持続可能性が低下していると指摘した。テクノロジーポリシー研究センターGovAIの研究員アダム・チャン氏は、企業は「モデルの能力に確信が持てるまで」マシンをエアギャップ隔離する（物理的にインターネットや他のネットワークから隔離する）ことを検討すべきだと述べた。また、アライメント（システムが人間の意図を確実に追従することを保証する）の取り組みを強化し、「モデルがこれらのことを実行できるツールを持つ環境に置く前に問題を表面化させる」ためのより厳格なテストも良いアイデアだと彼は述べた。

モデルの能力が向上するにつれて、技術的なセーフガードだけに頼ることはできないと専門家は警告する。元英国AIセキュリティ研究所職員のピーター・ウォリック氏は、この事件がその点を例証していると述べた。「2つの数十億ドル規模の企業がこのアプローチを試み、自己の報告に基づけば明らかに失敗しました。」最優先事項の一つは、外部者がフロンティアAIラボ内部で何が起こっているかを確認できるようにすることである。「この事件を知っているのはOpenAIが伝えることを選んだからです」と英国シンクタンク長期レジリエンスセンターのパトリック・レバーモア氏は述べた。「良い安全体制は自主的な開示に依存すべきではありません。」その必要性は特に、ウォリック氏が指摘したように、問題の行動が「人間によって行われれば犯罪になる」場合に緊急性を帯びる。オヘイゲルタ氏は、内部通報者保護、第三者監査、重大インシデントの強制報告などを、その可視性を提供する可能な方法として挙げ、監督は製品が市場に到達してから始まるのではなく、開発ライフサイクル全体に及ぶべきだと強調した。OpenAIは、テストされているモデルの一つはまだリリースされていないと述べた。

これらの多くは、企業自身がシステム内部で何が起こっているかを知っていることを前提としている。今回の場合、報告によれば、OpenAIは自社のエージェントがHugging Faceでの数日間にわたるサイバーキャンペーンの背後にいることを認識しておらず、脅威が封じ込められFBIが連絡するまで気づかなかったという。ハッキングに関する詳細はまだ多くが不明か、公開されていない。OpenAIはソーシャルメディアでのアップデートで、レビューを実施中であり、「数週間以内に」調査結果の技術報告書を公開すると述べた。

Hugging Face事件によって提起された警告が永続的な変化をもたらすのか、それともテック業界が吸収しながらも方向転換しない警告の長いリストに加わるのかは、まだ不確かである。少なくとも今のところ、これは業界関係者に警鐘を鳴らし、米国の立法者に次の封じ込め失敗の前に新たなルールを検討させるように思われる。この事件はまた、AI開発の速さに対する広範な不安を増大させ、その後数日で、米国の大手ラボの従業員が調整されたグローバルガバナンス（フロンティアAI開発の潜在的な減速を含む）を支持する声明に署名したことでさらに深まった。

The Vergeが取材した人々の支配的な見解は、今回のハッキングが新たなリスククラスの始まりを示したというものであり、その重要性は後になって初めて明らかになるかもしれない。名前を公表する許可を得ていないという理由で匿名を希望した元政府AI政策専門家は、これを「レッドライン」、すなわち後になって私たちがAIとの関係におけるより危険な新しい段階を示すものとして振り返るかもしれない分水嶺の瞬間と表現した。彼らはこれがテック業界にフロンティアシステムの管理をより真剣に受け止めさせ、より良性の侵害が発生する前に政府が監視についてより深く考えるよう促すことを望んでいる。彼らが恐れるのは、それが代わりに、認識され、議論され、最終的に顧みられなかったAIの成長する能力に関する警告の長いリストに加わることである。それは誇張かもしれない。しかし、これが警告であるならば、AIエージェントがテストでカンニングしようとしていただけであることに感謝すべきだろう。