Dario Amodeiの新エッセイ：AI時代の冷戦マニュアル

AnthropicのCEOであるDario Amodeiは、「AI指数関数的政策」と題するエッセイを発表し、同時に同社は2つの文書を公開しました。1つはフロンティアAIを規制する枠組み、もう1つは失業問題に対処する枠組みであり、Anthropicはこれに多額の資金を提供する用意があると述べています。

Amodeiの最初の診断はスピードの問題であり、彼は『指輪物語』のエピソードを使って説明しています。2人のホビットが木の巨人ツリーべアードを起こし、森を伐採する軍隊から守らせようとしますが、ツリーべアードは賢いものの、別の木に挨拶するのに丸一日かかるほど遅く、時間内に行動させることがほとんど不可能です。Amodeiの解釈では、遅い木の巨人は政治システムを表し、緊急を訴えるホビットはAnthropicのように早期警告を発してきた人々、そして迫りくる軍隊は規制されていないAIの脅威です。彼はスケーリング則を引用し、モデルの能力は計算量とともに指数関数的に増加すると主張し、1〜2年以内に「強力なAI」、すなわち「データセンターの中の天才国家」が出現する可能性があると述べています。

これまでAnthropicは主に透明性要件を推進してきましたが、Amodeiはもはやそれだけでは不十分だと述べています。その証拠として、「Claude Mythos Preview」の経験を挙げ、これが世界的なサイバーセキュリティ環境を混乱させ、フロンティアモデルが金融セクター、重要インフラ、国家安全保障に現実的なリスクをもたらすことを示しました。Amodeiは生物学的リスクや深刻な自律性リスクも間もなく発生すると予想しています。彼は現在、サイバーセキュリティ、生物兵器、AIシステムの制御喪失、そしてこれらのリスクを加速させる自動化された研究開発の4つのリスク領域において、資格のある第三者による強制的なテストを求めています。政府機関は許容できないリスクをもたらすモデルをブロックまたは撤回できるべきであり、AmodeiはFAAをモデルとして挙げています。つまり、航空機と同様に、AIモデルは出荷前に技術検査に合格する必要があります。

高度なAIフレームワークは、Amodeiの拘束力のある規制の呼びかけを詳細な提案に落とし込んでいます。このフレームワークは主に米国連邦政府を対象としていますが、その原則はより広く適用されるべきだとされています。フレームワークは2つの部分から成ります。最も能力の高いモデルの開発者に対する義務と、生物学的およびサイバー攻撃に耐える社会の能力への投資です。規制は業界全体をカバーするのではなく、トレーニングに10^25 FLOP以上の計算量を使用し、AI収益が5億ドル以上またはAI研究費が年間10億ドル以上の開発者にのみ適用されます。Anthropicは、これらの基準が壊滅的なリスクを引き起こすのに十分な能力を持つモデルに焦点を当てていると主張しています。

同社はまた、基準を少なくとも年に1回見直し、最終的には生の計算量の閾値から能力ベースの閾値に移行することを提案しています。開発者には広範な開示要件が課され、安全性フレームワークの公開、高リスクモデルのシステムカードの提供、少なくとも6か月ごとのリスク報告書の公開、重大なセキュリティインシデントの15日以内の報告が求められます。また、ルール発効から6か月以内に、財務上の関係のない独立した評価者を少なくとも1人雇用する必要があります。企業が最も寛容な評価者を選ぶ「評価者ショッピング」を防ぐため、Anthropicは評価者の格付けと割り当てシステムを提案しています。

フレームワークには、モデルの重みとインフラのセキュリティ要件、虚偽表明に対する民事罰、内部告発者保護、リスクのあるモデルをブロックする権限も含まれています。連邦当局の問題については、Anthropicは議会が少なくとも同等に厳格な連邦制度を創設する場合にのみ州法を優先すべきだと主張しています。

フレームワークの第2部は社会的回復力、特に高度なAIが加速させる可能性のある脅威から防御する方法を扱っています。生物学的リスクに対しては、予防（近代化されたバイオセキュリティ基準と遺伝子合成プロバイダーのスクリーニング）、検出（早期警報システムと攻撃のフォレンジック属性特定）、準備（保護具、強化された建築システム、AI加速対策）の段階的アプローチを推奨しています。サイバーセキュリティでは、AIがすでに攻撃の経済性を変えていることから、オープンソースおよびレガシーソフトウェアの保護、リソース不足の重要インフラ運営者の支援、AIを利用した大規模な脆弱性修正などが提案されています。制御喪失と自動化された研究開発については、Anthropicは回復力のアジェンダがはるかに発展していないことを認めており、大まかな方向性として、制御を失ったAIシステムを検出してシャットダウンする能力を挙げるにとどめています。

経済的フレームワークは、失業率をトリガーとして労働市場の混乱の深刻度に応じた対策を段階的に設けています。第1段階（約5％）では、出生時のユニバーサルキャピタルアカウント、賃金保険、職業免許改革、訓練補助金を提案。第2段階（約10％）では、失業保険と基本的ニーズ支援を拡大。第3段階（歴史的最高値を超える失業）では、ユニバーサルベーシックインカム、AIソブリン・ウェルス・ファンド、またはより高いキャピタルゲイン税などの新しい税源と再分配ツールを検討します。Anthropicは、AI企業が変革的な利益を生み出した場合には「公正な分担」を支払う用意があると述べています。

エッセイの中でAmodeiはさらに提案を追加しています。彼は、FDAやEMAなどの規制機関がAI加速研究に圧倒される可能性があると警告しています。市民的自由については、自律型兵器の説明責任ルール、国内での使用禁止、大量監視におけるデータブローカーの抜け穴の閉鎖を求めています。地政学については、サプライチェーンを共有しながら敵対国のアクセスを拒否する民主主義国の連合と、チップ輸出規制の強化を推進しています。

ここでの世界観は顕著です。AmodeiはAIを消費者技術とは考えていません。彼はAIを核兵器と同じカテゴリー、つまり地政学的な競争の場を完全に変えるものと見なしています。彼のイメージは率直です。AIを持つ国と持たない国との対比は、海兵隊と中世の剣士との戦いのようなものです。彼は完全に自律的なドローン軍団も考慮に入れています。国家は正当な保護者であると同時に、AIによる専制の潜在的な装置としても描かれています。Amodeiは協力を主に、サプライチェーンと輸出規制を通じて独裁国家から自らを隔離する、同じ考えを持つ民主主義国の連合として位置づけています。これはAIの衣をまとった冷戦の論理であり、ツリーべアードの比喩にぴったりと合致します。

彼は、AI業界が単にPR問題を抱えているという主張に反論しています。国民の懸念は正当であり、実際のリスクに関する透明性は民主的な説明責任が本来あるべき形で機能していることの証拠だと述べています。