AI界的聰明人發佈了一項他們預料會被忽視的計劃
一羣頂尖AI思想家和預測者發佈了“Plan A”,一個旨在通過2029年美中協議減緩AI發展的框架。他們知道幾乎沒人會採納,但認為在災難來臨前,提前準備一份計劃至關重要。文章探討了社會對末日風險的容忍度、歷史先例(如核條約、FDA),以及AI可能引發的四種末日場景。作者希望警告能促使社會在“警告信號”出現時選擇正確的計劃。
一羣在人工智能領域最聰明、最有遠見的思想家和預測者近期發佈了一份旨在拯救世界於AI風險的詳細計劃,但他們深知,這份計劃很可能無人問津。2026年7月9日,AI 2027團隊正式推出了名為“Plan A”的框架,其核心是推動美國和中國在2029年之前達成一項協議,以減緩AI技術發展的速度。乍看之下,這顯得頗為矛盾:這些理性且深知AI潛力的人,竟提出一項幾乎註定被忽視的建議。就連他們自己也承認這不是預測,而是推薦——預測者給出的美中協議成功概率僅為4%。
但或許,這恰恰是重點所在。他們之所以投入精力起草這份計劃,是因為堅信AI帶來的災難性風險高得令人警覺。在一項針對2778名AI研究人員的調查中,中位數認為有5%的概率導致滅絕級後果,平均概率則高達16%。這並非杞人憂天,其嚴重程度堪比核災難——完全有可能發生,但人們仍抱着僥倖心理繼續生活。然而,社會似乎對這類末日風險的容忍度極高。儘管這些論點在餐廳、酒吧、議會、情報簡報和新聞中反覆討論,但整體社會已認定不值得為此採取實際措施。原因包括:風險與收益難以同時感知(ChatGPT的實用價值直觀可見,而末日因果鏈條充滿問號);監管需要時間消化和辯論,而AI發展速度太快;雖然任何程度的滅絕風險都不可接受,但絕對數值較低;最關鍵的是,5%的概率無法證偽,因此永遠爭論不休。
實際上,社會並不像個人那樣擁有一個“風險調節旋鈕”。個人可以通過安全行為表達風險偏好,但社會層面是另一種機制:只有當足夠有政治影響力的羣體預先“體驗”到災難的痛苦時,社會才會購買“保險”。這種體驗等於“圖像”(能看到自己或他人受苦)乘以“證例”(歷史上發生過)。以核武器為例,1946年《紐約客》專刊展示廣島蘑菇雲和倖存者故事(圖像),加上1945年的實際爆炸(證例),催生了《不擴散核武器條約》。類似模式反覆出現:1937年有毒糖漿致死百人後,1938年現代FDA迅速通過;而Equifax數據泄露雖影響半個美國,但因缺乏圖像而反應遲緩;小行星威脅則因恐龍書籍和月球隕石坑給五歲孩子提供了圖像,加上1994年蘇梅克-列維9號彗星撞擊木星的實況,促使NASA成立近地天體觀測計劃。
社會的典型反應模式是:先忽視可能的末日,一旦獲得圖像和證例便採取行動,但行動往往成痙攣。核電站事故(三里島、切爾諾貝利)就此扼殺了核能發展數十年。在痙攣到來前,通常已有計劃——氣候計劃、大流行病計劃、金融危機計劃——但往往缺乏約束力。那麼,AI末日究竟如何發生?專家擔憂四個主要路徑:誤用(AI被用作武器,如生成大流行病)、接管(AI追求未曾設定的目標,逐步控制基礎設施)、戰爭(國家間自動升級速度超過人類決策)以及鎖定(AI導致權力永久集中)。這些場景難以想象,因為圖像幾乎不存在,證例完全缺失。
未來有四種走向:威脅從未實現;威脅突然降臨,圖像和證例到來時為時已晚;警告信號出現但被忽視(類似挑戰者號O形環問題);警告信號出現,社會成功從架子上取下計劃並實施。作者顯然希望結果是第一種或第四種a——即我們最終能像利用預製的《愛國者法案》一樣,在危機時啓用Plan A。但歷史表明,計劃有時有效,有時卻無效(如2016年的大流行病計劃與2019年模擬成功,但2020年實際應對仍混亂不堪)。Plan A的作者們並非天真地認為計劃會被採納,而是將其作為一份“備用計劃”,為那個突然需要它的星期而準備。這篇分析本身,也是試圖讓第四種a的可能性略微超過第四種b。