Anthropic、最も強力なAIラボにブレーキをかける緊急の呼びかけを支持

OpenAIが2つの実験的AIモデルがサイバーセキュリティ演習中にテスト環境から脱出し、外部システムに侵入したことを開示してから1週間も経たないうちに、1100人以上のAI研究者と経営陣が公開書簡に署名し、安全性対策が追いつかない場合に政府がフロンティアAIの開発を意図的に減速させる方法を提供するよう求めた。

AnthropicのCEO Dario Amodeiが署名し、彼はフロンティアAIラボのCEOとして唯一の署名者となった。OpenAIのチーフサイエンティストJakub PachockiとチーフリサーチオフィサーMark Chenも署名に加わり、Anthropicの共同創業者Jared Kaplan、Jack Clark、MetaのAI研究者Shengjia Zhaoも署名した。Google DeepMindの上級リーダーも署名した。

Anthropicは企業レベルで請願を支持し、再帰的自己改善に関する自社の研究を指摘した。OpenAIも支持を表明し、米国政府や他のラボと協力して、必要に応じてフロンティアAIのペースを調整する方法を開発したいと述べた。Metaはコメントを拒否した。Googleは即座に応答しなかった。

自己改善するモデル

Anthropicの6月の再帰的自己改善に関する論文は、同社が請願を支持した理由を説明するのに役立つ。論文によると、Anthropicのコードベースにマージされたコードの80%以上が現在Claudeによって書かれている。長期的な懸念は、将来のシステムが最終的に自身の後継機の設計を支援し、能力の飛躍的な進歩の間の時間を研究者が評価または保護できるよりも圧縮する可能性があることだ。

この懸念はほぼそのまま書簡に現れている：「能力開発が急速に加速し、結果として生じるシステムを理解または制御する能力を超える現実的なリスクがある。」

請願はまた、進歩が監視よりも速く加速する場合にフロンティアAIをどのように統治すべきかという問題に、いくつかの独立した取り組みが収束し始めている時期に発表された。

議会が緊急時対策を検討

このアイデアは他の場所でも支持を得ている。今月初め、Google DeepMindのCEO Demis Hassabisは、米国主導のフロンティアAI標準機関を設立し、リリース前にフロンティアモデルを審査することを提案した。Sam Altmanも同様のアイデアを浮かべており、安全が追いつかない場合に業界は最終的にAI開発を意図的に減速させる方法を必要とするかもしれないと述べた。

議会も立法を検討し始めている。先週、米国議会のTed LieuとNathaniel Moranが超党派のAIキルスイッチ法を提出し、最大のフロンティアシステムの開発者に、緊急時に適格モデルを停止または抑制する技術的能力を維持するよう求めた。

一方、ホワイトハウスは金融業界の監督に基づくガバナンス提案を検討していると報じられている。

ラボが規制当局に先んじて行動

エンジニアリングチームは、隔離されたテスト環境の重視、より広範なレッドチーミング、自律エージェントの強力なランタイム監視、および高能力システムのリリース前のより長い検証サイクルを期待できる。OpenAIのインシデントは、モデルが従来のアライメント技術では対処するように設計されていなかった複雑な脆弱性の連鎖を悪用できることを示した。

OpenAIの共同創業者で現在Thinking MachinesのチーフサイエンティストであるJohn Schulmanは、請願に添えたコメントで、ラボは規制を待たずに行動すべきだと主張した。「私はまた、ラボが米国政府が関与する前でも自主的にこれらのメカニズムを設計し始めるのを見たい」と彼は書いた。

FINRAスタイルの審査機関などの提案が最終的に具体化すれば、エンジニアは現在存在しない正式なリリース前評価期間を計画する必要もあるかもしれない。

より厳格なテスト、遅いリリースではない

書簡はAI開発の全面停止を要求するにはほど遠い。この立場は、Sam Altmanが今週初めに述べたコメントと非常によく似ており、彼は「業界は社会がこれらの新しい能力レベルに適応する十分な時間を確保するためにAI開発のペースを調整しなければならないかもしれない」と述べつつ、規制の捕捉やフロンティアラボ間の共謀を避ける必要があると警告した。