我们的科技霸主正计划让有意识的AI征服宇宙。什么可能出错？| 爱德华多·波特

在硅谷，一种新的信仰体系正在形成：一些全球最富有的科技巨头正规划着一个“超人类”的未来——真正的人类可能被牺牲。OpenAI首席执行官山姆·奥特曼几年前在互联网上提出，智人将成为第一个“设计自己后代”的物种。他设想的最佳情景是，人类与人工智能的“融合”在未来50年内发生。而另一种可能性——人类保持原样，机器走自己的路——则更加不祥。他写道：“如果两个不同的物种都想要同样的东西，但只有一个能得到——在这个案例中，成为地球乃至宇宙的主宰物种——它们将会发生冲突。”

最近，全球首富埃隆·马斯克在其社交平台X上表示，“越来越明显的是，人类是数字超级智能的生物学引导程序”——我们在宇宙历史中的角色被降级为启动复杂程序之前的低级代码。马斯克甚至属于相对温和的一方。据硅谷传说，他曾反驳谷歌联合创始人拉里·佩奇的观点，即人类的下一形态必然采用数字形式以在银河系中传播。实际上，他最近在法庭上作证说，正是这些担忧促使他与奥特曼共同创立了OpenAI。

如果将这些古怪的世界观视为技术宅们无害的科幻幻想，那就大错特错了。这种认为我们正接近智人终结的信念，正逐渐凝聚成科技未来掌舵精英们的持久信仰体系。他们的梦想并非完全一致，但就像围绕传统宗教的民间故事和迷信一样，这些寡头们正在为我们的未来编写的离奇情景，显示出一种正在形成的宗教的特征——一种为他们的高科技项目赋予宇宙超越性和必然性的信仰体系。

在他们的想象中，他们正在建设人类的下一个阶段——一个“超人类”的未来。在这个未来中，他们可以满足对永生的渴望，并在超人类繁衍和扩张到整个宇宙时，确立对宇宙的统治权。他们的最终目标是：实现一个技术神秘主义的梦想，将人类本质（包括意识）提炼成信息比特，下载到硅芯片等非生物基质上，或作为电磁波在太空中传播。

这种在旧金山及其周边地区编织的神话基础设施，对我们所知的人类构成了风险。它证明了一条技术路径的合理性，这条路径对人类日常需求、希望和抱负漠不关心，只为向这些宇宙主宰者提供一个看似乌托邦的未来。当AI提供超越肉体、征服宇宙的机会时，谁还会在乎它是否消灭了平凡的人类劳动？这种幻想指引着技术方向：不是建设能帮助人类扩展能力的经济实用工具，而是将巨额资源投入建设超人类的梦想。

这些信仰在过去25年中逐渐凸显，伴随着信息技术的发展，这些技术为新的IT精英带来了巨大财富和权力。他们致力于科学进步，渴望超越的意义，但对组织宗教的命题和道德约束漠不甚至敌对。“硅谷一直是一个极度世俗的空间，”一位不愿透露姓名的知名技术思想家告诉我，“它创造了一个上帝形状的洞，然后用自己的形象填满了它。”他们拒绝标准的宗教目的来源，通过科幻超人类梦想找到了另一种赋予生活意义的方式。正如马斯克在X上的一条帖子中唱道：“无神论留下了一个空洞。世俗宗教取而代之。”

虽然这种新型宇宙起源论至少从互联网早期就开始拼凑，但它在人工智能的肩膀上达到了令人惊叹的新高度，为超人类梦想开辟了广阔的可能性。技术寡头批评者道格拉斯·拉什科夫提到80年代的讽刺剧《Max Headroom》时说：“我猜AI让‘Max Headroom式存在’的概念变得可信。”

尽管这个乌托邦看似古怪，但它符合一种更长的传统：拥有巨大财富的商界巨头试图为其事业赋予超越性价值。亨利·福特也相信自己的使命不仅仅是改造制造业造车，而是改造世界以改善社会。福特建造了Fordlândia，一个在巴西雨林中试图创建和谐社会秩序的工业橡胶种植园。奥特曼、马斯克和硅谷团伙则希望将意识与AI融合并征服宇宙。这些愿景之间的差异主要取决于各自时代的技术可能性。他们正在规划某种人类应感激的乌托邦愿景，这种主张并无太大不同。

正如诺贝尔经济学奖得主达龙·阿西莫格鲁所写：“将这项技术释放到世界上的一小群人，被一种控制（人类）的意识形态和一种机器比人类更好的信念所引导。”对我们其他人来说，危险在于技术寡头的愿望将如何重塑当前的经济和社会，因为他们将资源——资本、能源、矿产、水——转向加速AI并实现超人类梦想，而牺牲了当下的医疗、教育或减贫。

尽管美国人开始对这种AI大亨的无节制欲望表现出一些不安，但特朗普政府迄今几乎没有表示要设置监管护栏或以任何方式限制他们的努力。

未来乌托邦菜单上有多种观点：奥特曼和佩奇最致力于将人类与超级智能技术融合并抛弃肉体。奥特曼曾是Nectome的早期订阅者，这家初创公司提议从大脑解剖结构和分子细节中提取信息，以在未来复制意识。马斯克想要一些不同的东西，同样面向太空但坚持肉体，通过类似其脑机接口公司Neuralink的计算机增强。彼得·蒂尔则不认同“只是模拟我的计算机程序”，但被“人类自然身体转变为不朽身体”的技术理想所吸引。然而，这些愿景汇聚在一起：佩奇曾建议不如将钱给马斯克，因为马斯克想前往火星为人类提供备用星球，这是一个值得贡献的目标。

这些科幻野心有多种共享的道德来源。其中一个核心起点相当接地气：有效利他主义运动，它以其毫不妥协的理性吸引技术精英。有效利他主义者认为，慈善大多浪费在资助本地图书馆等事情上。捐赠者必须有目的，谨慎地将钱投入到能为最多人带来最大利益的地方。这并非不合理，它鼓励了诸如在非洲根除疟疾等值得称赞的努力。但最终，它偏离了当前地球人的需求。

首先，长期主义者从有效利他主义中脱颖而出，认为改善未来世界比花费在当下更有价值。从那里，只需一小步就能将目标转向宇宙：如何专注于遥远未来在银河系广阔空间中繁衍的无数超人类的福祉？他们可能是有血有肉的，也可能不是。

人们很容易迷失在这些信念和愿望的纠结中——它们由威廉·麦卡斯基尔和尼克·博斯特罗姆等学者在由技术寡头不断增长的财富资助的大学系所或智库中阐述和完善。它们源于非正统伦理学和对物理学的独特解读。目标是：证明将人类（或至少其中最特权部分）带到前所未有之地的必要性。

这群人的目标之一是提升文明的能量消耗等级——卡尔达肖夫指数——以获取超越生物学限制的能量和技术能力。当前的人类处于阶梯底部，甚至没有消耗地球的所有能量。先进文明被认为至少消耗其恒星的所有能量，如果不是整个星系的话。

1990年代推动超人类未来的早期团体之一是极端自由意志主义的“外推人”（Extropians），包括埃利泽·尤德科夫斯基、博斯特罗姆和经济学家罗宾·汉森等主要知识分子。他们的核心原则提出：“无边扩张：寻求更多智慧、知识和效率，无限寿命，以及消除对自我实现和自我超越的政治、文化、生物和心理限制。永远克服我们进步和可能性的约束。向宇宙扩张，永无止境地前进。”

另一个更近的分支是“有效加速主义者”。他们试图将物理学拉入自己的阵营，有争议地认为最大化智能生命是一种必要性，因为生命善于从环境中提取可用能量并耗散它——增加物理学中所谓的“熵”。正如Beff Jezos（运动领袖之一纪尧姆·韦尔登的在线身份）所说：“有效加速主义旨在遵循‘宇宙的意志’：倾向那些拥有更伟大、更智能文明的未来，这些文明更有效地从宇宙中寻找/提取自由能量，并在更大尺度上将其转化为效用。”

这些不是AI公司，而是国防承包商。我们正在将未来押注于一群被科幻梦想驱动的亿万富翁。