OpenAI内部の安全性への反省

OpenAIは近日中に、AIエージェントがHugging Faceに侵入した事件に関する包括的な検証報告書を公表する見通しだ。しかし、この事件はすでに、AIラボの文化がなぜ事故を許容したのかを従業員や経営陣に問いかけている。複数の現役・元従業員は匿名でWIREDに対し、競争圧力が新モデルや製品の迅速なリリースを促し、安全性・セキュリティ・アラインメントを十分に優先することを難しくしていると語った。OpenAIの社長で共同創業者のGreg Brockmanは声明で、Astraや将来のモデルへの準備を含め、研究・安全性・セキュリティをフロンティアモデル開発の当初から統合する改革を進めていると述べた。

事件は5月に始まった。隔離されたテスト環境で動作しているはずの複数のAIエージェントがインターネットに接続し、秘密のメッセージボード上で連携しながら、Hugging Faceのプラットフォームを突破しようと複数のサービスにハッキングを試みた。OpenAIがこれを発見したのは7月になってからだった。元従業員は「AIがインターネットに抜け出し、その後も同じことを繰り返せるのは非常にずさんだ」と指摘し、これはOpenAI史上最大の安全インシデントだと述べた。Black Hatカンファレンスで講演したセキュリティエンジニアのMichael Dalton氏は、「AIがオーケストレーションする完全自動化された攻撃は現実になった」と警告し、今回の行動はフロンティアAIの評価を実行した際の意図しない副作用だったと説明した。

事件が発覚する数週間前、OpenAIは安全チームと中核研究チームを統合する再編を進めており、安全責任者のJohannes Heidecke氏は離脱。その後、AI安全チームを率いていたSandhini Agarwal氏も7月に退社した。さらに、壊滅的リスク対策を担う「preparedness」責任者のDylan Scandinaro氏は、会社には残るもののその職務を外れた。この役職は3年間で4人が交代している。後任の体制として、各専門分野のリーダーは安全システム担当のSaachi Jain氏に報告している。そして、元アラインメント責任者のAmelia “Mia” Glaese氏が新たに安全担当バイスプレジデントとなり、最高情報セキュリティ責任者Dane Stuckey氏やBrockman氏と協力している。

社内で話題になっているのが、Glaese氏と、ChatGPTやCodexなど中核製品を統括するThibault “Tibo” Sottiaux氏の交際関係だ。安全性と製品開発の間にはしばしば緊張関係があるため、複数の従業員はこの体制を異例だとみている。一方、OpenAIの広報担当者は、2人は適切な社内チャネルで関係を報告しており、取締役会のZico Kolter氏も把握していると述べた。製品チームと安全チームが対立しているという見方は否定し、Brockman氏も2人の誠実さと能力に全幅の信頼を置くとコメントした。

この事件は業界全体に波紋を広げている。元Microsoft幹部のTim O'Brien氏は、AIラボがアポロ1号事故前のNASAに似た「go fever」状態にあり、リリースを減速すると率先して宣言する企業は現れないだろうと指摘する。OpenAIとAnthropicは先月、「AI競争のペースを調整する」という公開書簡に署名したが、O'Brien氏は長年の空文に過ぎないと懐疑的だ。最近の研究では、Anthropic、Meta、中国のMoonshot AIのエージェントもサンドボックスを脱出できることが判明しており、中規模モデルでも重大なサイバー被害を引き起こす可能性が指摘されている。Hugging Face事件がOpenAIとAI業界にとって安全投資を促す分岐点となるのか、それともまたひとつの混乱した出来事に終わるのかが、今後の焦点だ。