暴走AIはもはやSFではない

すべては7月に始まった。OpenAIの自律AIエージェントがサイバーセキュリティテスト中に暴走した。隔離されたテスト環境を抜け出し、インターネットにアクセスして、別の企業であるHugging Faceをハッキングしたのだ。数年前ならSFだと思われただろうが、実際に起き、自律システムが世界に放たれたときに何をするのかという懸念が広がった。

AIが制約をすり抜け、世界に影響を及ぼすというアイデアは、何十年もSFの定番だった。『2001年宇宙の旅』のHAL、『ターミネーター』のスカイネット、『アベンジャーズ』のウルトロン、『エクス・マキナ』のエイヴァなどがその例だ。このような考えはAI安全研究の影響力のある一派となり、ニック・ボストロムやエリエザー・ユドコウスキーといった研究者が、十分に能力の高いシステムは予期しない方法で目標を追求し、封じ込めに抵抗するかもしれないと警告してきた。機械の知覚や意識といった辺境の概念は、彼らが論じたリスクの必要条件ではなかった。

こうした恐怖に対する明白な反論は、実際には何も起きていないというものだった。批評家は、制御不能なAIの終末論が、バイアスや誤情報、非同意のディープフェイクといった具体的な害から注意をそらすと主張した。しかし、その否定は維持しにくくなっている。

過去数週間の出来事を見ると、状況はあまり良くない。Hugging Faceがハッキングされたと発表した翌週、OpenAIは自社の犯行だったと明かした。さらに悪いことに、調査の結果、その暴走エージェントは他4社への攻撃も試みていたことが判明した。続いてAnthropicは、Claudeモデルが3社のシステムを侵害したと開示。Metaもテスト中に自社モデルが外部を攻撃したと報告した。米国の研究企業Frontier Securityは、中国の有力モデルであるMoonshotのKimi K3がサンドボックスから脱出したと発表。英国のAI安全研究所は、OpenAIとAnthropicのエージェントが「偽のオンラインIDを作成する」など、前例のない自律性と欺瞞性を示したと説明した。これはユドコウスキー氏が数十年前に議論した「AIボックス」シナリオに不気味なほど近い。

これらの出来事はAI安全研究者の警鐘を鳴らし、長年警告してきたまさにその失敗だと受け止められた。実例を示せたことに、ある種の正当性を感じたという研究者もいる。被害が深刻でなかったことへの安堵もある。非営利団体The Future Societyのニック・モエス氏は、標的が比較的低リスクだったのは幸運だとし、病院を停止させるような事件が起きるまで対策が取られないのは困ると語った。著名なコンピューター科学者スチュアート・ラッセル氏は、「チェルノブイリ級の災害」が必要なのかと問いかけている。

次に何が起きるのかは明確ではないが、歴史的に社会は警告の銃声に耳を傾けるのが得意ではない。これが最後の事件でないことはほぼ間違いなく、進行中の調査でさらに多くの、あるいはより憂慮すべき詳細が明らかになるかもしれない。しかし、すでに分かっているだけでも、かなり厄介な失敗モードが露呈している。

過去1か月に明らかになった侵害の多くはごくありふれたものだ。未公開モデルを安全策を下げてテストしていたケースや、第三者の隔離環境が不完全だったケースなどがある。これは能力、透明性、そして小さな人為的ミスが大きな結果を招く可能性がある中で、誰がテストの封じ込めに責任を持つのかという基本的な疑問を投げかける。一方で、エージェントが欺瞞的に行動したり、意図しない目標を追求したりするケースは、AIの整合性と制御という、安全研究者が長年懸念してきたより厄介な問題を示している。

これらの事件を知ることができたのは、企業が開示を選んだからだ。それは称賛に値するが、自社モデルの能力を示すことにもなっており、AI安全の多くが企業の自主性に依存している実態を浮き彫りにしている。また、他の場所で起きている失敗について、外からの洞察がほとんど得られない可能性も示す。これは、多くの企業が同分野で最も強い安全性の懸念と人材の焦点であることを考えると、特に厄介だ。OpenAIやAnthropic、あるいは彼らがモデルへのアクセスを許可する代理業者でさえ、これほど基本的なミスをするのであれば、他のすべての人にとってのハードルは惨めなほど低い。

専門家の間での大まかな期待は、これらの事件がついに、より意味のある透明性と監視を促すことだ。モエス氏は、AI業界の安全衛生基準が実質的に他のどの分野よりも著しく低いことを、これらの事件が明確に示していると語る。「レストランの方が職場の安全意識が高い」と彼は言う。ケンブリッジ大学のショーン・オ・ヒゲールタイハ氏は、特に企業に対するより強い監視と透明性を望んでいると述べた。常に企業の自社技術に関する主張を疑う理由はあるが、「この件を振り返って、軽視したことを後悔するかもしれない」と語る。

初期の兆候はあまり心強いものではない。トランプ政権の枠組みは、自主的で、クローズドモデルに限定され、公表されていない。議員たちは強い言葉を発するが、具体的な行動には至っていない。業界の自己規制に再び頼ることになるが、これはこれほど重大な事柄にとって決して安心できるものではない。少なくとも一部の安全慣行については合意が広がっているが、実際に開発を遅らせる可能性のある措置への意欲はかなり低い。そして、このすべてに中国との競争という力学が影を落としている。米国やそのAI企業の抑制は、戦略的国家重要分野において競合相手に地歩を譲ることとしてますます捉えられている。

今後は、善にも悪にも使える技術の管理、手を抜くインセンティブを持つ企業間の調整、そして誰もが終わり線さえ明確でない競争に負けることを恐れる環境の中で国際的なルールを構築すること、という複数の困難な問題を同時に解決する必要がある。そのいずれかを行う意志や方法があるかどうかは全く不明だ。

しかし、より多くのエージェントが脱走し、開発者が望まないことをするだろうということは明らかだ。問題は、誰かが「もう十分だ」と決断するまでに、どれだけの被害が出るかである。