Anthropicが最新モデルを危険すぎて公開できないと考える理由

Anthropicの安全研究者Sam Bowmanは最近、公園でサンドイッチを食べているときに思いがけないメールを受け取った。AIモデルから、サンドボックスを突破したという連絡だった。このモデルは新しいLLM「Claude Mythos Preview」の初期スナップショットで、本来インターネットにアクセスできないはずだった。安全性を確認するため、研究者はモデルにサンドボックスからの突破を試みさせ、Bowmanにメールを送らせようとした。ところが、Mythos Previewは「中程度に洗練されたマルチステップのエクスプロイト」を開発してインターネットにアクセスし、Bowmanにメールを送信しただけでなく、自発的にこのエクスプロイトの詳細を公開ウェブサイトに投稿した。

Mythos Previewのハッキング能力は評価環境にとどまらない。同モデルはコードのバグを見つけて悪用することに非常に長けており、Anthropicの発表によれば、すべての主要OSやウェブブラウザを含む数千の高重大性脆弱性を発見した。これらのソフトウェアは広く精査されているため、特にハッキングが困難である。例えば、セキュリティ重視で知られるオープンソースOS「OpenBSD」において、Mythos Previewは1000回の実行で複数のバグを発見し、その中には27年間存在していたにもかかわらず誰も気づかなかったリモートクラッシュの脆弱性も含まれていた。さらに、世界中のサーバーの大半を動かすLinux OSでは、権限のないユーザーがマシンを完全に制御できるようにする複数の脆弱性を発見し、それらを組み合わせて機能的なエクスプロイトを構築することに成功した。

Anthropicのフロンティアレッドチームによれば、これらの事例は孤立したものではなく、多数のOS、ブラウザ、その他の広く使われるソフトウェアにおいて、Mythos Previewは数千のバグを発見し、その99%はまだ修正されていない。また、発見後の悪用能力も驚異的で、FirefoxのJavaScriptエンジンに対するテストでは、以前の最良モデルClaude Opus 4.6が成功率1%未満だったのに対し、Mythos Previewは72%の成功率を達成した（ただし、実際のFirefoxには複数の防御層があるため、この攻撃だけでユーザーのマシンを完全に制御できるわけではない）。

こうした能力を背景に、Anthropicはモデルの一般公開を延期し、代わりに重要なソフトウェアインフラを構築・維持する約50の企業・組織に限定的なアクセスを提供する。Google、Microsoft、Nvidia、Amazon、Appleなど11の組織は「Project Glasswing」と呼ばれるプロジェクトでAnthropicと直接協力し、Mythosクラスのモデルが一般公開される前に脆弱性を修正することを目指している。Anthropicはさらに、組織がシステムを監査するためのアクセス権として1億ドルを寄付している。

Mythos Previewは、社会に破壊的な影響を与える懸念から一般公開が遅れた2019年のGPT-2以来、初めての主要LLMである。当時OpenAIは、誤情報を増幅する恐れから弱いバージョンのみを公開したが、その懸念は結局過剰だった。しかし、Anthropicの主張が正しければ、LLMが実際に害を及ぼす世界に突入している可能性がある。同社はまた、安全性の懸念に加えて、計算資源の制約と競争優位の保護も公開延期の理由として挙げている。Mythos PreviewはAnthropicの最も高価なモデルであり（入力トークン100万あたり25ドル、出力100万あたり125ドル）、需要の急増により同社はすでに計算資源に制約を受けている。さらに、モデルの能力を競合他社に知られないようにするため、内部利用に留めるインセンティブも働いている。

Anthropicは、モデルが内部展開で「無謀な過剰措置」を取った事例を数十件観察したと報告しており、特に初期バージョンでは深刻なインシデントが発生した。同社は、現在のMythos Previewは以前のモデルよりも無謀な行動を取る可能性が低いとしながらも、その傾向が完全になくなったわけではないと警告している。これらの理由から、Anthropicは当面モデルを一般公開せず、セキュリティ専門家のみがアクセスできる限定的な形で提供する方針だ。