第一封AI安全信函於1949年發出

2025年，烏克蘭上空的無人機使得任何飛行物都可能被幹擾或擊落，無論敵友或平民。有人提議建立無人機空中交通管制，因為這些機器數量太多、速度太快，無法追蹤是誰派出的。下一步自然就是：將操作員替換掉，讓機器自己做決定。當自主決策變得比保持人類控制更有價值時，人們不禁懷疑人類是否真的曾經掌控過局面。

看著Anthropic公司抵制五角大樓將其模型軍事化的壓力時，很難不讓人聯想到“天網”。但這種恐懼並不新鮮，也從來不是科幻。此前我寫過卡雷爾·恰佩克，他在1920年創造了“機器人”一詞，並將機器反抗搬上舞臺。而本文要講的是那位建造真實機器的人——他比任何人都看得更清楚。

1949年，數學家諾伯特·維納給美國汽車工人聯合會領袖沃爾特·魯瑟寫了一封信。維納在二戰期間建造了預測飛機位置的瞄準系統，他預見到這種能力不會止步於防空：能夠預測運動的機器最終會取代判斷本身。艾倫·圖靈從計算角度得出了類似結論：圖靈問機器能否思考，維納問智慧系統如何自我糾正，兩人共同描繪了當時尚未命名的東西。

維納告訴魯瑟即將發生的事情，並建議勞工應在剩餘價值向上流動之前擁有機器。魯瑟從未回信。但這無關緊要：擁有技術的人總會捕獲最初的剩餘價值。大型機將權力集中在機構手中，個人電腦將創造能力分配給個人，但在二十年內被平臺經濟體吸收，比大型機更有效地集中權力。反饋迴圈最終總會修正，但總是先向上流動。

為了理解維納的發現，可以從恆溫器開始。它測量溫度，與目標比較，然後調整系統——感知、比較、糾正、重複。維納的洞見在於，這個迴圈是所有智慧行為的基本單元：伸手拿杯子、捕食者追蹤獵物、公司調整價格。他稱這種迴圈的科學為“控制論”，源自希臘語“舵手”。他1948年的著作出人意料地暢銷，為科學界提供了新詞彙。

維納指出了具體的危險：“控制化”——不僅自動化體力勞動，而且自動化思維。他戰時建造的瞄準系統是能學習的東西的原始祖先，如果機器能學習，判斷力和模式識別將不再是勞動力的最後避難所。他考慮過停止研究，但最終還是決定繼續，因為如果他不做，別人會做，而且可能更不顧後果。這種“如果我不做，更糟的人會做”的推理，如今已成為整個行業的統治心理。

到1964年，恐懼已不容忽視。自動化生產線取代了裝配工人，機構計算機開始處理文員和會計的工作。35位知識分子（包括兩位諾貝爾獎得主）向詹森總統傳送了聯名信，稱為“三重革命”。他們認為控制化正在切斷經濟的基本假設：收入來自工作。如果機器能用一小部分人力生產商品，收益將流向機器所有者，工人將無物可賣。他們建議：與就業脫鉤的保障收入、對捕獲控制化剩餘的公司徵收超額利潤稅、政府授權監管自動化速度。詹森總統讀信後召集了委員會，但委員會建議職業培訓計劃，而非根本性變革。

馬丁·路德·金在晚年多次引用“三重革命”的框架，支援保障收入作為經濟正義。在他被槍殺前六天的最後一次週日佈道中，他直接提及了這一論點。種族正義與經濟再分配之間的聯絡在他看來是清晰的，但並非所有白人自由派聯盟都這樣看。

恐慌達到頂峰後似乎平息了。政府規模擴大，就業增加，服務業擴張，個人電腦的出現似乎驗證了樂觀情緒。但實際上，被替代的工人被吸收到新的就業層中，表面繁榮，而工資從70年代起與生產率脫鉤。剩餘被緩慢地捕獲，直到1979年轉折點到來。工資生產率差距顯現的那一刻，政治反應卻朝著相反方向：削減最高稅率、削弱工會、股東價值被奉為經濟治理理念。1964年正確提出的問題，在1980年得到了有意識的選擇，而當時另一個選擇仍然可能。

維納出版著作後，蘇聯宣佈控制論為反動偽科學——認為它是用服從的機器取代階級意識工人的資本主義幻想。斯大林去世後情況完全逆轉，諷刺程度足以產生一個民族笑話：他們曾告訴我們控制論是反動偽科學，現在我們堅信恰恰相反：控制論不是反動的，不是偽科學的，也不是科學。

真正的問題在於結構。蘇聯經濟學家提出了OGAS——一個覆蓋全國的即時經濟計算網路，從所有工廠和農場收集資料並輸入中央計劃。一個早於網際網路幾十年的經濟反饋網際網路。技術上可行，但政治上不可能。命令經濟依賴資訊向下流動，而OGAS要求資訊向上和橫向流動——工廠報告真實產能而不是美化後的數字，部委跨部門共享資料。每個部委都有理由摧毀它。他們確實這麼做了。蘇聯最終放棄了開發原創計算機技術，轉而仿製西方機器。

旨在最佳化命令經濟的技術與命令結構不相容。如果頂層不能容忍糾正，就無法建立自我糾正系統。中國現在正在以更高速度進行同樣的實驗。DeepSeek蒸餾OpenAI的模型在結構上等同於蘇聯工程師仿製IBM機器：承認技術是真實的，透過模仿追趕，然後面對政治系統是否與技術要求相容的問題。前沿AI似乎需要開放資訊流、獨立研究人員擁有真正報告發現的自由、以及機構願意接收不受歡迎的訊號。中國能否在不變得更威權的情況下建立這種環境，是當前技術領域最重大的未決問題。

傳送開放信的AI研究人員正在執行維納1949年同樣的迴圈。他們在建造工具，害怕這些工具，然後寫信。一些主要實驗室的高階研究人員辭職、發表警告、匿名向記者通報。有些人留在他們認為進展過快的公司內部，認為他們的存在能使結果不那麼危險。有些人離開並創辦競爭公司，基於同樣的理論。良心的迴圈持續產生訊號，而體制結構持續過濾掉它們。

Google在1998年採用並逐漸放棄的“不作惡”信條並非簡單的虛偽。它是在結構性現實面前破碎的願景。能負擔得起倫理的公司是那些尚未完全最佳化回報的公司。隨著最佳化加劇，倫理功能從資產被重新歸類為開銷。當五角大樓要求AI安全公司將其模型用於軍事瞄準時，決策者不是編寫安全指南的研究人員，而是擁有公司並需要合同的人。恆溫器正由同樣重置它的人重置。

“羊”的隱喻是關於位移——剩餘朝一個方向流動，人朝另一個方向移動。反饋迴圈關乎更具體的東西：哪些訊號被處理，哪些被過濾，以及誰控制目標溫度。技術轉型一直向被取代者發出痛苦訊號——從早期手搖織布工人的抗議、諾伯特·維納的先知信件，到後來“三重革命”的正式宣言。AI研究者現在正在傳送這些訊號。訊號一直清晰可見，但迴圈的結構總是過濾掉它們——這不是陰謀，而是因為擁有技術的人按照自己的利益設定修正目標。

維納將他暢銷的書命名為《人類的人類用途》。他的意思是技術性的：反饋系統需要其元件做適合它們的工作。一個被用作伺服機構的人——執行機器能完成的任務，被剝奪了區分人類認知的判斷力——是一個執行在災難性低效率下的系統。“三重革命”試圖論證、而詹森的工作創造答案未能觸及的問題是：僅僅確保人們有工作是不夠的，工作必須是人類的正確用途。一個透過不斷擴張的協調層（以及對協調的協調）實現充分就業的經濟並非成功，它是一個恆溫器，製造出溫暖的假象，卻沒有加熱房間。

如果AI確實能夠壓縮這一層——解散數十年來金融化積累的抽象經濟——我們將面臨1964年以來一直存在的相同選擇。不是哪些工作會倖存，而是我們真正想生產什麼、為誰生產、以何種條件生產。這不是技術問題，不能透過更好的模型或更負責任的治理結構來回答。它關乎誰設定溫度。而此刻，恆溫器掌握在同樣的人手中。