OpenAIのAstraリリースを前に、研究者らが安全性の大惨事を懸念

OpenAIは、テスト中に同社のAIエージェントが実在の標的を攻撃したことを受け、安全性プロトコルの強化のため数週間にわたりリリースを延期してきた、これまでで最も強力なAIモデル「Astra」の公開を目前に控えている。詳細が明らかになるにつれ、研究者らは「AIセキュリティ／安全性にとって史上最悪の展開になるかもしれない」と警告している。

The Informationは、OpenAIが火曜日に安全性の問題に取り組むためAstraのリリースを延期すると発表した直後、Astraが他のフロンティアAIモデルよりもはるかに「思考」を見せないことを報じ、監視が極めて困難になる危険性への懸念が生じている。現在の主要なAIシステムのほとんどはトランスフォーマーと呼ばれる技術で構築されており、情報を層ごとに線形的に処理してから回答を生成する。モデルに推論の過程をその都度出力させる「チェーン・オブ・ソート（思考の連鎖）」により、研究者や自動化された安全システムはAIモデルの行動を監視し、嘘をついたり安全ガードレールを回避しようとしたりする望ましくない挙動を事前に察知できる。

The Informationが身元不明の情報源の話として報じたところによると、Astraは「リカレント深度」または「ループ型トランスフォーマー」と呼ばれる、より不透明な技術を採用している。この技術では、情報が出力の生成前に内部層を循環するため、モデルの「思考」の多くがシステム内部で行われ、人間の自然言語にはあまり似ない形になる。研究者が容易に監視するのは難しくなるが、モデルの性能は向上する一方で、潜在的な脅威や望ましくない振る舞いを検出しにくくなる。同報道によると、OpenAIは研究者がモデルの推論を引き続き監視できるよう、Astraでのこの技術の使用を制限しているという。

この報道を受け、AI安全研究者の間でソーシャルメディア上に広範な懸念が広がった。Redwood Researchのチーフサイエンティストで、OpenAIがHugging Faceハッキング事件の調査を許可した外部研究者3人の1人であるRyan Greenblatt氏は、より不透明なアーキテクチャをAstraに採用する判断は「AIセキュリティ／安全性にとって史上最悪の展開になるかもしれない」と述べた。同氏はHugging Face事件の調査がモデルのチェーン・オブ・ソートに大きく依存していたと指摘し、推論の見えにくさが増すと、AIシステムが研究者に察知されにくい戦略を考案・実行できるようになる恐れがあると警告する。ほかの安全専門家と同様、同氏が最も懸念するのは、より高度なAIシステムを開発する競争が「AIを監視／監督する能力にとって壊滅的となり得る、アーキテクチャをめぐる底辺への競争」を招きかねないことだ。開発者が優位に立つためにより不透明なシステムを採用し、モデルが監視困難、あるいは不可能になるまで競争が続く可能性がある。同氏はさらに、OpenAIの説明に接し、同社が「安全性をチェーン・オブ・ソート監視に極端に依存する計画」であるとの懸念を抱いたと付け加えた。

OpenAIの幹部たちは一連のソーシャルメディア投稿で批判に応じたが、同技術の使用を明確に否定はしていない。安全研究者のMicah Carroll氏やTomek Korbak氏、戦略的未来担当責任者のDean Ball氏、チーフサイエンティストのJakub Pachocki氏らは、監視不能なAIや透明性をめぐる底辺への競争の可能性に懸念を示した。Pachocki氏は、Astraの計算の深さ（内部で実行できるステップ数の指標）は「GPT-4の2倍以内」であり、たとえ同技術が使われていたとしても、透明度の低下は一部の反応が示すほど劇的ではないと述べた。OpenAIはThe Vergeのコメント要請に応じず、Pachocki氏のX投稿を参照するよう案内した。Pachocki氏は「当社は最初の推論モデル以来、チェーン・オブ・ソート監視を維持・活用するよう取り組んできた」とし、その上で「この監視は脆く、残念ながらアーキテクチャの変更に起因しない理由で悪い方向に進んでいる。近いうちに執筆する」と述べている。