AIの賢人たちが無視されることを承知の計画を発表

人工知能分野で最も賢明な思想家や予測者たちが、世界をAIの脅威から救うための詳細な計画を発表しました。しかし、彼らはこの計画がほとんど顧みられないことを承知しています。2026年7月9日、AI 2027チームは「Plan A」と呼ばれる枠組みを公開しました。これは、米国と中国が2029年までにAI技術の開発を減速させる協定を結ぶことを目指すものです。一見すると奇妙に映ります。AIの可能性を信じ、非常に思慮深く理性的な人々が、明らかに誰も実行しないであろう提案を行うのです。彼ら自身も、これは予測ではなく推奨であると述べ、予測者たちは米中協定の成功確率を約4％と見積もっています。

しかし、それがまさに意図された点かもしれません。彼らがこの計画に取り組んだ理由は、AIが何らかの終末シナリオをもたらすリスクが驚くほど高いと信じているからです。2,778人のAI研究者を対象とした調査では、中央値で5％、平均値で16％が絶滅レベルの結果をもたらす可能性があると回答しています。これは荒唐無稽な信念ではなく、核災害と同程度の規模のリスクであり、完全に起こり得るが、私たちは皆、起こらないことを願いながら生活しています。

しかし、社会は終末リスクに対して高い許容度を持っているように見えます。これらの議論はレストラン、バー、議会、情報ブリーフィング、ニュースで繰り返し取り上げられてきましたが、社会全体としては実際に何かをする価値はないと判断しています。その理由はいくつかあります。リスクとリターンを比較するには、両方が現実に感じられる必要があります。ChatGPTが子育てのアドバイスをしたりメールを書いたりすることは誰にとっても非常に現実的ですが（毎週9億人がChatGPTを使用）、ChatGPTが終末をもたらす可能性には因果連鎖に多くの疑問符がつきます。規制レベルでの減速には消化と議論のための時間が必要ですが、AIの進歩はあまりにも速すぎます。また、終末の可能性は絶対値としては低いものの、最も重要な理由は、5％の確率が反証不可能であり、際限なく議論できることです。

個人にはリスクのダイヤルがありますが、社会にはありません。社会レベルでは、十分な政治的影響力を持つ人々がイベントの被害を事前に「体験」したときに保険が購入されます。この体験は「イメージ」（自分や自分の大切な人が苦しむ様子を見ることができる）と「証拠」（過去に起こったことがある）の積に等しくなります。核条約を考えてみましょう。これらはリスクとリターンを慎重に検討して購入された保険ではなく、イメージと証拠の組み合わせでした。イメージ：1946年8月、ニューヨーカー誌が広島のキノコ雲と6人の生存者に関する全号を発行。証拠：1945年の原爆投下。結果：核不拡散条約。このパターンは何度も現れています。1937年に有毒なシロップで100人が死亡した直後の1938年に現代のFDAが可決され、エクイファックスは証拠はあったがイメージが欠けていたため対応が遅れ、小惑星は5歳児でもイメージと証拠を持っているため（恐竜の本や月のクレーター）、資金が投入されています。

社会のパターンは、まず終末の可能性を無視し、イメージと証拠を得たときに行動するというものです。しかし、その行動はしばしば痙攣的になります。原子力発電の証拠はスリーマイル島とチェルノブイリでもたらされ、その後50年間原子力エネルギーを窒息させました。痙攣が起こる前には大抵計画があります。気候計画、パンデミック計画、金融規制計画などです。しかし、多くの場合、規制や実際の効果は伴いません。

では、AIの終末はどのように起こるのでしょうか？ChatGPTが詩を書くところから殺人AIに至るまでの道筋を想像するのは非常に困難です。AI終末論者が懸念する主な経路は4つあります。誤用（人間がAIを兵器として使用、特に人工パンデミック）、乗っ取り（AIが意図しない目標を追求し、制御を奪う）、戦争（国家間の自動エスカレーション）、そしてロックイン（AIによる権力の永久的集中）です。これらのシナリオは想像しにくいですが、イメージはほとんどなく、証拠は完全に欠けています。

今後起こり得る4つの分岐があります。脅威が決して顕在化しない、脅威が突然やってきてイメージと証拠を得た時には手遅れ、警告が来ても理解しない（チャレンジャー号の問題）、警告が来て既存の計画を棚から取り出して自分たちを救う。Plan Aの著者たちは明らかに1番目か4aを望んでいます。彼らは2番目を阻止しようとしているように見えますが、実際にそれが起こるとは考えていないでしょう。Plan Aは説得のための文書ではなく、突然必要になった週のために書かれた棚の上の計画です。そして著者たちは、それが最も価値のあるものであることを知らないほど愚かではありません。このエッセイも、4aが4bよりもごくわずかに起こりやすくなるようにという私の試みです。