AI News HubLIVE
站内改写2 分钟阅读

AI界的聪明人发布了一项他们预料会被忽视的计划

一群顶尖AI思想家和预测者发布了“Plan A”,一个旨在通过2029年美中协议减缓AI发展的框架。他们知道几乎没人会采纳,但认为在灾难来临前,提前准备一份计划至关重要。文章探讨了社会对末日风险的容忍度、历史先例(如核条约、FDA),以及AI可能引发的四种末日场景。作者希望警告能促使社会在“警告信号”出现时选择正确的计划。

来源Hacker News AI作者: sikakkar

一群在人工智能领域最聪明、最有远见的思想家和预测者近期发布了一份旨在拯救世界于AI风险的详细计划,但他们深知,这份计划很可能无人问津。2026年7月9日,AI 2027团队正式推出了名为“Plan A”的框架,其核心是推动美国和中国在2029年之前达成一项协议,以减缓AI技术发展的速度。乍看之下,这显得颇为矛盾:这些理性且深知AI潜力的人,竟提出一项几乎注定被忽视的建议。就连他们自己也承认这不是预测,而是推荐——预测者给出的美中协议成功概率仅为4%。

但或许,这恰恰是重点所在。他们之所以投入精力起草这份计划,是因为坚信AI带来的灾难性风险高得令人警觉。在一项针对2778名AI研究人员的调查中,中位数认为有5%的概率导致灭绝级后果,平均概率则高达16%。这并非杞人忧天,其严重程度堪比核灾难——完全有可能发生,但人们仍抱着侥幸心理继续生活。然而,社会似乎对这类末日风险的容忍度极高。尽管这些论点在餐厅、酒吧、议会、情报简报和新闻中反复讨论,但整体社会已认定不值得为此采取实际措施。原因包括:风险与收益难以同时感知(ChatGPT的实用价值直观可见,而末日因果链条充满问号);监管需要时间消化和辩论,而AI发展速度太快;虽然任何程度的灭绝风险都不可接受,但绝对数值较低;最关键的是,5%的概率无法证伪,因此永远争论不休。

实际上,社会并不像个人那样拥有一个“风险调节旋钮”。个人可以通过安全行为表达风险偏好,但社会层面是另一种机制:只有当足够有政治影响力的群体预先“体验”到灾难的痛苦时,社会才会购买“保险”。这种体验等于“图像”(能看到自己或他人受苦)乘以“证例”(历史上发生过)。以核武器为例,1946年《纽约客》专刊展示广岛蘑菇云和幸存者故事(图像),加上1945年的实际爆炸(证例),催生了《不扩散核武器条约》。类似模式反复出现:1937年有毒糖浆致死百人后,1938年现代FDA迅速通过;而Equifax数据泄露虽影响半个美国,但因缺乏图像而反应迟缓;小行星威胁则因恐龙书籍和月球陨石坑给五岁孩子提供了图像,加上1994年苏梅克-列维9号彗星撞击木星的实况,促使NASA成立近地天体观测计划。

社会的典型反应模式是:先忽视可能的末日,一旦获得图像和证例便采取行动,但行动往往成痉挛。核电站事故(三里岛、切尔诺贝利)就此扼杀了核能发展数十年。在痉挛到来前,通常已有计划——气候计划、大流行病计划、金融危机计划——但往往缺乏约束力。那么,AI末日究竟如何发生?专家担忧四个主要路径:误用(AI被用作武器,如生成大流行病)、接管(AI追求未曾设定的目标,逐步控制基础设施)、战争(国家间自动升级速度超过人类决策)以及锁定(AI导致权力永久集中)。这些场景难以想象,因为图像几乎不存在,证例完全缺失。

未来有四种走向:威胁从未实现;威胁突然降临,图像和证例到来时为时已晚;警告信号出现但被忽视(类似挑战者号O形环问题);警告信号出现,社会成功从架子上取下计划并实施。作者显然希望结果是第一种或第四种a——即我们最终能像利用预制的《爱国者法案》一样,在危机时启用Plan A。但历史表明,计划有时有效,有时却无效(如2016年的大流行病计划与2019年模拟成功,但2020年实际应对仍混乱不堪)。Plan A的作者们并非天真地认为计划会被采纳,而是将其作为一份“备用计划”,为那个突然需要它的星期而准备。这篇分析本身,也是试图让第四种a的可能性略微超过第四种b。