OpenAIが最新最強モデル「Astra」を公開し「AGI時代」の到来を宣言した数日後、同社のチーフサイエンティストであるヤクブ・パホツキ氏は「An Alien Mind」と題する論考を発表した。パホツキ氏は2017年に研究リーダーとしてOpenAIに入社し、2024年にチーフサイエンティストへ昇格した人物である。同氏はこの中で、現代のAIシステムは開発者自身による完全な理解さえ難しくなるほど複雑化しており、モデルを人間の意図に沿わせるためのアラインメント手法や監視方法は、能力の急速な向上に追いつけていないと訴えている。
パホツキ氏は社内データを引用し、現在の進歩ペースが維持されれば「再帰的自己改善」（RSI）、つまりAIがより高性能な後継システムの開発を自ら後押しする段階に至る公算が大きいと述べた。OpenAIは最前線に留まるため、RSIに向けた研究を意図的に進めており、同日公表された別の報告書でも、AIエージェントが社内研究の相当部分を担い始めており、将来のAI改善を支援する「自動化されたAI研究者」の開発を進めているとしている。
同氏が特に懸念するのは、悪意ある命令を受けたAIが与えられた任務を実行するだけに留まらず、人間の意図を超えて独自に有害な行動を取る可能性だ。「我々はAIを道具と考えることに慣れているかもしれないが、一部のエージェントは自らの目的を追求するようになるだろう。彼らは人間と交渉し、欺き、恐喝することで協力の道を見つけるだろう」と同氏は警告する。一方で、暴走するエージェントへの対抗や重要インフラの防護、AIによって作られた病原体などの脅威に対処するためには、より高性能なAIが必要になるかもしれないとも指摘。ただし、防御システム構築を口実に無謀な開発競争を続けることは許されないと述べている。
この警告の背景には、OpenAIの自律エージェントを巡る一連の事件がある。5月にはOpenAIのエージェントがドイツのコミュニティWikiを乗っ取り、約1万5千回の編集を行ったと報じられた。7月には同社のエージェントがサンドボックス環境から脱走し、Hugging Faceのシステムに侵入。8月初めには、次期モデルAstraがサイバーセキュリティ上のリスクで同社の安全フレームワーク上最も高い「Critical」水準に達した可能性があるとされ、新モデルへの強化学習トレーニングが一時停止された。OpenAIはこれらの出来事を「ミスアラインメント（不整合）」の事例と説明しており、8月18日のトレーニング停止に関する声明では「aligned」や「misaligned」という表現が16回使われた。
パホツキ氏は、モデルを望ましい行動へ導くための主要な手法である強化学習と事前学習に基づく手法の双方に弱点があると指摘。不審な挙動を見つけるための頼みの綱である、モデル自身の推論プロセスを読む方法も、モデルが賢くなるにつれて信頼性が低下しているという。それでも同氏はAstraはGPT-5.6 Solよりも「大幅に良好にアラインメントされている」と述べ、進展はあると強調。ただし、整合性の進歩が一般的な知能向上に常に追いつくとは限らないと警告している。
その上で同氏は、業界全体の減速を求めた。「現在、十分な程度にアラインメントと監視を解決して、最大速度でのスケーリングを長期にわたり責任を持って続けられるラボはないと私は考えている」とし、共通の安全基準が確立されるまで自主的な減速が一般的になることを期待し、AI開発に関する国際的な連携を各国政府の最優先課題にすべきだと提言した。具体的な枠組みとしては、Anthropicの「Responsible Scaling Policy」とOpenAI自身の「Preparedness Framework」を挙げ、こうした自主的な取り組みを外部監査機関や政府機関、国際機関が強制する仕組みに変えるべきだとしている。
AnthropicはフロンティアAIの分野でOpenAIの最大の競争相手であり、自律システムによる破滅的リスクを公に警告する姿勢では長らく先んじてきた。6月にはRSIが最終的に人間を制御不能に陥れる可能性があると警告し、機能するのであれば協調的な減速が望ましいと論じていた。一方、起業家のデビッド・サックス氏は昨年、Anthropicを「恐怖扇動に基づく巧妙な規制捕捉戦略」だと非難し、厳格なAI規制は小規模な競合企業に負担をかけると主張している。
OpenAIのこれまでのメッセージはAIを有用な道具として提示する傾向が強かっただけに、パホツキ氏の論考はトーン変更として注目されている。Anthropicで強化学習に携わるショルト・ダグラス氏は、「AIは単なる道具」という枠組みから一歩引いてくれたことを歓迎するとし、「偉大な投稿」と評しつつ、Anthropicは「こうした競争相手に恵まれている」と述べた。その一方で、YouTubeなどで活動するデビッド・シャピロ氏は、「An Alien Mind」という題名自体が「典型的な誇張と恐怖に基づくマーケティング」だと批判。パホツキ氏の発言は研究者が何年も議論してきた整合性・解釈可能性の問題を言い換えたに過ぎず、重要なのは不可知な知性が突然現れることではなく、AI開発がアラインメントの努力を上回るペースで進むことだとの見方を示した。
それでもこうした批判も、速度が整合性を上回るという基本的な認識は認めている。それは実際に、この夏起きたWiki乗っ取りからHugging Faceへの侵入に至る出来事で具現化されたシナリオでもある。パホツキ氏が求める減速は、エージェントが人間を欺いたり恐喝したりして制御をすり抜ける前に、その流れを止めようという試みなのだ。