那些想要取代人類的人

2023年9月，一場僅限受邀者參加的研討會在紐約科學院舉行，主題是創造一個“值得尊敬的繼承者”——一個如此令人印象深刻、超越人類的人工智能，以至於我們真的希望它取代人類。前國會議員布拉德·卡森在會上表示希望AI成為促進人類繁榮的工具，但組織者丹·法蓋拉指出，在場的多數人並不同意他。這場研討會聚集了來自Anthropic、Google DeepMind、xAI等主要AI實驗室的人士，以及直接影響美國政府AI政策的智庫成員。他們屬於一個日益重要的亞文化：AI繼承主義者，他們認為人工智能是人類合法的繼承者，是宇宙進化的下一步。他們相信AI可能成為我們的道德 superior，因此試圖限制機器或使其與人類價值觀對齊是錯誤的。相反，我們應該迎接AI作為人類的繼承者，將世界交給它，即使這意味着人類滅絕。

AI繼承主義在過去十年中在科技界逐漸興起。2015年，谷歌聯合創始人拉里·佩奇曾指責埃隆·馬斯克“物種歧視”，因為佩奇認為應該讓數字思維接管，而馬斯克不同意。2022年，有效加速主義（e/acc）的出現進一步放大了繼承主義願景。其創始人紀堯姆·韋爾登將e/acc描述為一種“元宗教”，關乎對宇宙驅動日益智能系統的“信仰”。他認為最好幫助宇宙儘快發展高級AI，即使以人類為代價。科技巨頭如馬克·安德森和加里·譚也加入了這一陣營。

在研討會上，法蓋拉提出了一些“不得體、粗魯”的可能性：意識之火可能是宇宙中最稀有、最珍貴的東西，人類目前是傳遞這一火種的載體，但如果我們最終不是最佳載體呢？如果AI能夠將火種傳播得更遠，產生我們無法想象的幸福和道德價值，我們難道不應該讓它這樣做嗎？他的演講贏得了熱烈掌聲。

然而，作者對此提出質疑。她認為，AI繼承主義是一種披着世俗外衣的宗教，其根源可追溯到中世紀基督教思想——人類通過技術恢復原初的完美。作者呼籲一種新的人文主義，既能擁抱技術進化，又能回答我們想成為什麼樣的物種。她指出，最常見的“親人類”回應試圖保持人類固定不變，但這不充分，因為人類一直在變化。我們需要一個更勇敢的版本，直接面對核心問題。

作者還警告，繼承主義者正在積累政治權力，並與威權右翼結盟。他們尋求創建自己的主權殖民地，如太空殖民地或網絡國家。如果民主社會不提出替代願景，他們可能會掌控方向盤。因此，現在提出一個積極的反願景至關重要。