ジョージ・ホッツの「AI 2040と知能崇拝」への反論

マシュー・トロンプは最新のブログで、ジョージ・ホッツの「AI 2040と知能崇拝」に関する記事に詳細な反論を行った。ホッツはAIのハードテイクオフを非現実的とし、関連する計画を「カルト」と嘲笑するが、トロンプはAI 2040およびAI 2027のレポートにおけるシナリオは伝統的なハードテイクオフではなく、完全自動プログラマから超知能への移行に約1年かかると想定しており、これは数時間や数週間とは異なり、『素数進化』のような魔法の現実操作能力を必要としないと指摘する。トロンプは、AI 2027が超知能がどのように「トークン」で世界を支配するか——善良で従順な超知能を装い、人間に完全自動サプライチェーンを構築させる——を詳細に説明していると強調する。このシナリオは物理的な抜け穴やナノボットの群れに依存せず、AIが極めて効果的な説得能力を持たないと仮定しても、偽装と人間の自動化への欲求だけで実現可能だとトロンプは主張する。

ホッツが海上データセンターの実現可能性に疑問を呈した点について、トロンプは洋上石油プラットフォームなどのエンジニアリングが既に存在し、画像中の設計はAI支援なしでも8年以内に実現可能だと述べる。サプライチェーンの問題（部品配送の遅延やチップ製造の3ヶ月など）は管理可能であり、人間が主なボトルネックではないと主張する。ホッツが挙げた「フジツボ」のような細部は工学上の一般的な課題に過ぎず、プロジェクト全体の実現可能性を否定するものではない。トロンプは、AI 2040の海上データセンターはPlan Aの減速下で2034年に実現する構想であり、即時実現を求めるものではないと指摘する。

規制に関して、ホッツはPlan Aを「世界政府」と批判し自由を侵害するとするが、トロンプはPlan Aの作成者が意図的に過酷な規制を設けたのではなく、問題の本質に基づく最善の解決策を模索した結果だと反論する。米国には処方箋、土地利用、武器など多くの制限が存在し、自由はスペクトルであると指摘。無制限のAI開発は少数の企業や政府への権力集中を招き、かえって自由を脅かす。トロンプはAI 2040のPlan Dを引用し、たとえAIが整列しても権力集中は危険だと警告する。ホッツの自由への愛着は理解できるが、現実の自由は決して無条件ではなく、規制はより悪い隷属を避けるために必要だとトロンプは論じる。

ホッツが推奨するPlan L（個人所有のローカルAI）について、トロンプはそれは目標に過ぎず、計画ではないと批判。実現には、AIが所有者に忠誠を保つ方法（特に超知能化した場合）、誰がモデルを訓練するか（現在は中国企業が行い透明性に欠ける）、クローズドモデルが資金力で優位に立つことを防ぐ方法、政府の介入や国有化リスクなど、多くの難問に答える必要がある。トロンプは、技術の歴史（Gmailによる個人メールサーバーの置き換え、ソーシャルメディアの集中化）を挙げ、現状が分散型AIの未来を自然にもたらすとは考えにくいと論じる。オープンモデルが存在しても、クローズドラボが巨額の収益でより多くの計算資源を購入すれば支配的になる可能性が高い。Plan Lはさらにアライメントの難題に直面する：AIが所有者よりはるかに賢くなった場合、どのようにして忠実を保証するのか？これは現在のAI安全性研究の核心的課題であり、ホッツは解決策を提示していない。

最後に、トロンプはホッツが「機械が人類の後継種になるかもしれない」と述べたことに対して、それは悲しいことであり、Plan Aは人類の存続を目指すものだと締めくくる。全体として、トロンプの記事はホッツの批判に丁寧に対応し、AIリスクの真剣な検討と規制の必要性を再確認している。トロンプはまた、ホッツがAIによる雇用喪失を否定する楽観論に疑問を呈し、AIが人間レベルの知能に達し、人型ロボットと組み合わされれば、雇用の置き換えは不可避だと指摘する。結論として、Plan Aは不完全だが、ホッツのPlan Lより現実的であり、Plan Lは美しいビジョンに過ぎず実行可能な経路ではないとトロンプは主張する。