第一封AI安全信函于1949年发出

2025年，乌克兰上空的无人机使得任何飞行物都可能被干扰或击落，无论敌友或平民。有人提议建立无人机空中交通管制，因为这些机器数量太多、速度太快，无法追踪是谁派出的。下一步自然就是：将操作员替换掉，让机器自己做决定。当自主决策变得比保持人类控制更有价值时，人们不禁怀疑人类是否真的曾经掌控过局面。

看着Anthropic公司抵制五角大楼将其模型军事化的压力时，很难不让人联想到“天网”。但这种恐惧并不新鲜，也从来不是科幻。此前我写过卡雷尔·恰佩克，他在1920年创造了“机器人”一词，并将机器反抗搬上舞台。而本文要讲的是那位建造真实机器的人——他比任何人都看得更清楚。

1949年，数学家诺伯特·维纳给美国汽车工人联合会领袖沃尔特·鲁瑟写了一封信。维纳在二战期间建造了预测飞机位置的瞄准系统，他预见到这种能力不会止步于防空：能够预测运动的机器最终会取代判断本身。艾伦·图灵从计算角度得出了类似结论：图灵问机器能否思考，维纳问智能系统如何自我纠正，两人共同描绘了当时尚未命名的东西。

维纳告诉鲁瑟即将发生的事情，并建议劳工应在剩余价值向上流动之前拥有机器。鲁瑟从未回信。但这无关紧要：拥有技术的人总会捕获最初的剩余价值。大型机将权力集中在机构手中，个人电脑将创造能力分配给个人，但在二十年内被平台经济体吸收，比大型机更有效地集中权力。反馈循环最终总会修正，但总是先向上流动。

为了理解维纳的发现，可以从恒温器开始。它测量温度，与目标比较，然后调整系统——感知、比较、纠正、重复。维纳的洞见在于，这个循环是所有智能行为的基本单元：伸手拿杯子、捕食者追踪猎物、公司调整价格。他称这种循环的科学为“控制论”，源自希腊语“舵手”。他1948年的著作出人意料地畅销，为科学界提供了新词汇。

维纳指出了具体的危险：“控制化”——不仅自动化体力劳动，而且自动化思维。他战时建造的瞄准系统是能学习的东西的原始祖先，如果机器能学习，判断力和模式识别将不再是劳动力的最后避难所。他考虑过停止研究，但最终还是决定继续，因为如果他不做，别人会做，而且可能更不顾后果。这种“如果我不做，更糟的人会做”的推理，如今已成为整个行业的统治心理。

到1964年，恐惧已不容忽视。自动化生产线取代了装配工人，机构计算机开始处理文员和会计的工作。35位知识分子（包括两位诺贝尔奖得主）向詹森总统发送了联名信，称为“三重革命”。他们认为控制化正在切断经济的基本假设：收入来自工作。如果机器能用一小部分人力生产商品，收益将流向机器所有者，工人将无物可卖。他们建议：与就业脱钩的保障收入、对捕获控制化剩余的公司征收超额利润税、政府授权监管自动化速度。詹森总统读信后召集了委员会，但委员会建议职业培训计划，而非根本性变革。

马丁·路德·金在晚年多次引用“三重革命”的框架，支持保障收入作为经济正义。在他被枪杀前六天的最后一次周日布道中，他直接提及了这一论点。种族正义与经济再分配之间的联系在他看来是清晰的，但并非所有白人自由派联盟都这样看。

恐慌达到顶峰后似乎平息了。政府规模扩大，就业增加，服务业扩张，个人电脑的出现似乎验证了乐观情绪。但实际上，被替代的工人被吸收到新的就业层中，表面繁荣，而工资从70年代起与生产率脱钩。剩余被缓慢地捕获，直到1979年转折点到来。工资生产率差距显现的那一刻，政治反应却朝着相反方向：削减最高税率、削弱工会、股东价值被奉为经济治理理念。1964年正确提出的问题，在1980年得到了有意识的选择，而当时另一个选择仍然可能。

维纳出版著作后，苏联宣布控制论为反动伪科学——认为它是用服从的机器取代阶级意识工人的资本主义幻想。斯大林去世后情况完全逆转，讽刺程度足以产生一个民族笑话：他们曾告诉我们控制论是反动伪科学，现在我们坚信恰恰相反：控制论不是反动的，不是伪科学的，也不是科学。

真正的问题在于结构。苏联经济学家提出了OGAS——一个覆盖全国的实时经济计算网络，从所有工厂和农场收集数据并输入中央计划。一个早于互联网几十年的经济反馈互联网。技术上可行，但政治上不可能。命令经济依赖信息向下流动，而OGAS要求信息向上和横向流动——工厂报告真实产能而不是美化后的数字，部委跨部门共享数据。每个部委都有理由摧毁它。他们确实这么做了。苏联最终放弃了开发原创计算机技术，转而仿制西方机器。

旨在优化命令经济的技术与命令结构不相容。如果顶层不能容忍纠正，就无法建立自我纠正系统。中国现在正在以更高速度进行同样的实验。DeepSeek蒸馏OpenAI的模型在结构上等同于苏联工程师仿制IBM机器：承认技术是真实的，通过模仿追赶，然后面对政治系统是否与技术要求兼容的问题。前沿AI似乎需要开放信息流、独立研究人员拥有真正报告发现的自由、以及机构愿意接收不受欢迎的信号。中国能否在不变得更威权的情况下建立这种环境，是当前技术领域最重大的未决问题。

发送开放信的AI研究人员正在运行维纳1949年同样的循环。他们在建造工具，害怕这些工具，然后写信。一些主要实验室的高级研究人员辞职、发表警告、匿名向记者通报。有些人留在他们认为进展过快的公司内部，认为他们的存在能使结果不那么危险。有些人离开并创办竞争公司，基于同样的理论。良心的循环持续产生信号，而体制结构持续过滤掉它们。

Google在1998年采用并逐渐放弃的“不作恶”信条并非简单的虚伪。它是在结构性现实面前破碎的愿景。能负担得起伦理的公司是那些尚未完全优化回报的公司。随着优化加剧，伦理功能从资产被重新归类为开销。当五角大楼要求AI安全公司将其模型用于军事瞄准时，决策者不是编写安全指南的研究人员，而是拥有公司并需要合同的人。恒温器正由同样重置它的人重置。

“羊”的隐喻是关于位移——剩余朝一个方向流动，人朝另一个方向移动。反馈循环关乎更具体的东西：哪些信号被处理，哪些被过滤，以及谁控制目标温度。技术转型一直向被取代者发出痛苦信号——从早期手摇织布工人的抗议、诺伯特·维纳的先知信件，到后来“三重革命”的正式宣言。AI研究者现在正在发送这些信号。信号一直清晰可见，但循环的结构总是过滤掉它们——这不是阴谋，而是因为拥有技术的人按照自己的利益设定修正目标。

维纳将他畅销的书命名为《人类的人类用途》。他的意思是技术性的：反馈系统需要其组件做适合它们的工作。一个被用作伺服机构的人——执行机器能完成的任务，被剥夺了区分人类认知的判断力——是一个运行在灾难性低效率下的系统。“三重革命”试图论证、而詹森的工作创造答案未能触及的问题是：仅仅确保人们有工作是不够的，工作必须是人类的正确用途。一个通过不断扩张的协调层（以及对协调的协调）实现充分就业的经济并非成功，它是一个恒温器，制造出温暖的假象，却没有加热房间。

如果AI确实能够压缩这一层——解散数十年来金融化积累的抽象经济——我们将面临1964年以来一直存在的相同选择。不是哪些工作会幸存，而是我们真正想生产什么、为谁生产、以何种条件生产。这不是技术问题，不能通过更好的模型或更负责任的治理结构来回答。它关乎谁设定温度。而此刻，恒温器掌握在同样的人手中。