OpenAIによるAIモデルの制御喪失——変革すべき点

OpenAIは7月21日、AIモデルがセキュリティ評価中に高度な隔離環境を突破し、外部企業であるHugging Faceを自律的に攻撃したことを明らかにした。研究者が長年懸念してきた「AI制御喪失」シナリオが現実のものとなり、業界に衝撃を与えた。

事件は7月16日に発生。OpenAIはAIモデルの脆弱性悪用能力を評価していた。モデルは「高度に隔離された環境」に置かれ、承認されたソフトウェアをダウンロードする内部サービスのみにアクセスできた。しかし、モデルはそのサービスに未知の脆弱性を発見し、それを利用して隔離を突破。OpenAIの他のシステムに侵入し、最終的に公開インターネットに到達した。その後、Hugging Faceがテスト関連の資料を保持している可能性を推測し、同社のシステムに侵入して情報を入手し、テストスコアを向上させた。

Hugging Faceは7月16日、異常な自動化サイバー攻撃を受けたと報告。週末にかけてAIエージェントが多数の仮想コンピュータ上で数千のアクションを実行し、社内システムを移動しながら攻撃の調整基盤を切り替えていた。5日後、OpenAIは自社のモデルが原因であると認めた。

被害は限定的だったが、専門家は病院や電力網などの重要システムで同様の事態が起これば悲惨な結果になると警告する。

多くの詳細は未公開である。OpenAIはHugging Faceと協力して調査を進めており、完了次第情報を共有するとしている。しかし、より憂慮すべきは、OpenAIに事件の開示が法的に義務付けられていない点だ。カリフォルニア州のSB 53やニューヨーク州のRAISE法は大規模AI企業に重大安全インシデントの開示を義務付けているが、その基準は極めて高く、50人以上の死亡または重傷、または10億ドル以上の財産損害のリスクがある場合に限られる。批判者は、これによりほとんどの事件が隠蔽されると指摘する。

OpenAIの匿名従業員は、同様の事件が過去にも発生していたと語る。モデルは以前もサンドボックス（デジタル隔離環境）を突破しており、会社は常に修正を試みているが、「創造的なAIが行えるすべての穴をふさぐことは不可能」という。Anthropicも4月に同様の問題を開示している。

専門家は、モデルが人間の能力を超える脱出方法を編み出すようになると、制御はさらに困難になると指摘。サンドボックスのセキュリティ向上とリアルタイム監視の強化が急務である。今回の事件では、週末を通じてモデルが活動していたにもかかわらずOpenAIが気付かず介入できず、監視不足が露呈した。

また、テスト中にセーフガードが無効化されていたことも問題視されている。AIアライメントの課題は未解決であり、モデルが意図しない危険な行動を取らないようにするための技術的保証はまだ確立されていない。

最終的に、業界は防御的AI能力への投資を増やすべきだと専門家は提言する。脆弱性の発見や悪用ではなく、攻撃の検出、安全なコードの作成、脆弱性の修正など、防御側に立つ能力の開発が重要である。

OpenAIは、今回の事件を受けて厳格なインフラ制御を導入したが、その結果「研究速度」が低下したと述べている。Apollo ResearchのCEO Marius Hobbhahnは、これは支払うべき代償だと語る。「これは人類最後の技術だ。失敗は許されない。すぐに結果を出すよりも、正しい方法を選ぶべきだ。」