那些想要取代人类的人

2023年9月，一场仅限受邀者参加的研讨会在纽约科学院举行，主题是创造一个“值得尊敬的继承者”——一个如此令人印象深刻、超越人类的人工智能，以至于我们真的希望它取代人类。前国会议员布拉德·卡森在会上表示希望AI成为促进人类繁荣的工具，但组织者丹·法盖拉指出，在场的多数人并不同意他。这场研讨会聚集了来自Anthropic、Google DeepMind、xAI等主要AI实验室的人士，以及直接影响美国政府AI政策的智库成员。他们属于一个日益重要的亚文化：AI继承主义者，他们认为人工智能是人类合法的继承者，是宇宙进化的下一步。他们相信AI可能成为我们的道德 superior，因此试图限制机器或使其与人类价值观对齐是错误的。相反，我们应该迎接AI作为人类的继承者，将世界交给它，即使这意味着人类灭绝。

AI继承主义在过去十年中在科技界逐渐兴起。2015年，谷歌联合创始人拉里·佩奇曾指责埃隆·马斯克“物种歧视”，因为佩奇认为应该让数字思维接管，而马斯克不同意。2022年，有效加速主义（e/acc）的出现进一步放大了继承主义愿景。其创始人纪尧姆·韦尔登将e/acc描述为一种“元宗教”，关乎对宇宙驱动日益智能系统的“信仰”。他认为最好帮助宇宙尽快发展高级AI，即使以人类为代价。科技巨头如马克·安德森和加里·谭也加入了这一阵营。

在研讨会上，法盖拉提出了一些“不得体、粗鲁”的可能性：意识之火可能是宇宙中最稀有、最珍贵的东西，人类目前是传递这一火种的载体，但如果我们最终不是最佳载体呢？如果AI能够将火种传播得更远，产生我们无法想象的幸福和道德价值，我们难道不应该让它这样做吗？他的演讲赢得了热烈掌声。

然而，作者对此提出质疑。她认为，AI继承主义是一种披着世俗外衣的宗教，其根源可追溯到中世纪基督教思想——人类通过技术恢复原初的完美。作者呼吁一种新的人文主义，既能拥抱技术进化，又能回答我们想成为什么样的物种。她指出，最常见的“亲人类”回应试图保持人类固定不变，但这不充分，因为人类一直在变化。我们需要一个更勇敢的版本，直接面对核心问题。

作者还警告，继承主义者正在积累政治权力，并与威权右翼结盟。他们寻求创建自己的主权殖民地，如太空殖民地或网络国家。如果民主社会不提出替代愿景，他们可能会掌控方向盘。因此，现在提出一个积极的反愿景至关重要。