AI極限與社會鴻溝

2026年7月9日

AI極限與社會鴻溝

我觀察到圍繞AI的幾種極端陣營：AI將取代人類、AGI已到來、不惜一切代價拒絕AI、AI具有意識。考慮到LLM展現出的超乎想象的智能，以及大規模失業、氾濫的低質內容和AI驅動的詐騙，這些立場的形成是可以理解的。

但這些立場聲音很大，且可能危險。AI本身是美好的事物，然而不同陣營之間的分歧可能在社會層面產生規模影響。AI很可能已經不可逆轉，我們無法選擇退出，必須與其共存。首先，讓我們回顧一下基於LLM的AI過去和現在的本質。

裸LLM

除非我錯過了AI界的重要新聞，當有人宣稱“我們的模型擁有博士水平的智能”時，“模型”一詞（指LLM）實際上僅指變壓器塊，即大量“高度連接”的數字層（權重），這些數字是訓練所用巨量數據的解構投影。

LLM具有特定的連接形狀和算術運算，足以捕捉人類文本的複雜性，使其在重現時具有意義。因此，當被問“泰國的首都是哪裏？”並正確回答“曼谷”時，是因為網絡的複雜性和訓練數據中文本的模式驅動了收斂於“曼谷”的結論。

稍後重要的幾個事實：

裸LLM做三件事：計算對數概率、嵌入和生成下一個標記。忽略前兩者，生成下一個標記的方式是從最可能的下一個標記中選取——這些標記很可能但不總是正確。這就是為什麼大多數AI聊天應用現在都帶有免責聲明，如“AI可能犯錯”。

其“在保持合理詞序的同時抽象想法”的能力使其成為極好的隱喻引擎。以下是我在llama3.2-3b上的幾次嘗試：

“請只用一個詞回答以下問題：汽車最接近首都的想法是什麼？”引擎。 “請只用一個詞回答以下問題：鋼琴的父級是什麼？”大鍵琴。

然而，即使答案不合理，它仍然會回答： “請只用一個詞回答以下問題：存在的存在最接近什麼？”不存在。

隨着LLM變得不確定，其答案從最可能正確逐漸變為隱喻性回答，再到自信的胡説八道，且沒有明確的信號表明它處於哪個區域。

注意：如果對非裸LLM嘗試上述隱喻測試，輸出可能不同，因為非裸LLM（尤其是在Google搜索、Perplexity等應用中）很可能被系統提示包裝。

中文屋

假設這樣一個場景（如果你懂中文，假裝不懂）：

你被鎖在一個房間裏，有鉛筆、紙、橡皮和你可以閲讀並需要遵循的指令。你不懂中文。有人從門下塞進一張寫有中文漢字的紙。按照指令，你需要根據收到的紙寫一個新的漢字。然後將寫好的紙塞出房間。收到你紙的人可能會斷定你懂中文，因為你給出的答案對他們來説是有意義的。

這是約翰·塞爾1980年的思想實驗，我們可以用它來理解LLM最可能的運作方式。LLM重現出有意義的詞語並不意味着它理解任何東西。它只需要足夠豐富的指令。

LLM有很大可能並不真正理解它所説的話。

《克勞德的循環》論文

2026年3月，唐納德·克努特發表了一篇題為《克勞德的循環》的論文，關於這篇論文的標題令人惱火且誤導性地高呼“LLM解決數學問題”。

這是誇大其詞！（儘管克勞德在該論文中的表現相當驚人：克勞德Opus 4.6在一小時內進行了31次試錯探索，並得出了所有奇數m的具體構造，隨後在m≤101範圍內得到了經驗驗證。）但克努特制定了嚴格的數學證明，而偶數情況在當時超出了克勞德的能力。發現一個有希望的圖案和證明其正確是完全不同的事情。克勞德還進入了“愚蠢區域”，需要引導——這是AI高級用户應該熟悉的情況。

LLM是多對一的純函數

關於LLM的另一件事是，我們知道它如何構建和訓練。它是一個封閉的確定性系統：給定相同的權重、相同的提示和相同的隨機種子，對於相同的輸入，它返回相同的輸出。這是一個多對一的純函數。

這意味着，它只有在被提示時才會揭示所“知道”的內容，只不過它知道並連接了很多東西，這很驚人。可以將其視為類似於稜鏡的東西，它將光折射成多種顏色，而你的提示就是入射光。

回到問題

現在，一個值得尊敬的警告是階級分化與對立的風險，原因包括“AI解決數學問題”的虛假信息、“AI將取代人類”的恐懼宣傳，甚至“任何使用AI的人都是惡意的”這種想法。歷史已經有過一次教訓：互聯網——訪問變得廉價，但使用技能和信任校準讓熟練用户與其他人之間形成鴻溝。LLM正沿着同樣的軌跡：每個人都獲得工具，但只有一些人培養出引導它的判斷力。這些人將其轉化為利潤；利潤購買更好的工具和更多時間來磨鍊判斷力。這一反饋循環使AI鴻溝與財富差距一致，並同時擴大兩者，知識差距也隨之而來。剩下的你可以想象，因為我們已身在其中。

然而，最糟糕的情況是代理鴻溝。做出由AI信息輔助決策的人與完全由AI代替決策的人之間只有一線之隔。這條線就是引導行為：事實核查、將LLM拉回用户真正想要的意思，以防止輸出滑向失敗的梯度。這是一個微妙的差距，但足以偏離具有巨大影響的高層決策軌跡——想象一下國家層面或涉及生命的關鍵決策。

代理鴻溝和階級鴻溝還使得快速構建一個能夠將社區封閉起來、使其受系統所有者控制的系統成為可能。這類系統在現代世界已經存在。但AI可以將系統所有者的代理能力放大到一個小命令就能產生迅速變化，壓倒社區的認知能力，從而在需要時放大控制的效果。當這種控制出於惡意目的時，危險就會出現。這種特定情景正是賽博朋克故事一直警告我們的。

回顧LLM就像“靜態折射稜鏡”，且“可能不確定但自身不知道不確定”，尤其是在被問及尋求真理的問題並需要跳出框框思考時，我們所有人可能都沒有意識到人類判斷真相的價值有多大。這涵蓋了從AI對齊倡議到個人數據標註者。這意味着，奇點就是我們自己。

同樣作為“靜態折射稜鏡”，它本身不會主動做任何事情。它只反映和折射進入其中的東西——訓練數據、你的問題等——就像藝術、音樂、電子遊戲、文學以及其他語言和媒介。它不會在實驗室裏自行成長為奇點並像反烏托邦科幻故事中那樣逃脱。如果真的發生，那一定是有人將其推到極端並有意或無意地部署，這又回到了惡意與無能之爭。（除非有人決定在AI中引入真正的隨機性。）

因此，至關重要的是讓這些極端陣營通過各自了解對方不知道的事情來達成一致。換句話説，同理心。

同理心不是為了感覺良好。它是祛魅的工具。你不希望那些反對你的人為你定義真相。以“所有AI公司都是惡的”為例：即使在AI公司內部，也存在不同方向的力量。過去，AI公司成員曾發表具有形而上破壞性的聲明，稱AI“就像我們一樣”或“有意識”，而現在業界已通過實際研究糾正（或至少公開審視）了這一立場。（以及許多其他對齊和安全努力。）

反過來也一樣。以那些面臨不公平條款和條件的AI數據工作者為例。他們是“奇點就是我們自己”的具體體現：是模型從中提煉的人類判斷真相的一部分。他們的協會要談判公平條款，就需要足夠清晰地看清AI公司內部，瞭解真正的影響力所在。而AI公司也必須清晰地看到回報：標註數據的人的福利直接影響基於這些數據構建的模型質量。壓榨標註者，就是毒害自己的地面真相。像基於LLM的AI這樣龐大的現象是一場需要整體思維的持久戰。

示例：務實的Rust社區

一些編程語言比另一些更強大。我個人非常喜歡Rust在表達正確性方面的強大能力。它可以用很少的詞語告訴你什麼時候允許什麼，比如哪個對象可以傳遞給另一個線程，對共享內存可以進行什麼訪問等。

鑑於其正確性的潛力，Rust是使AI對齊的強大工具。例如，我曾見過一個基於智能體AI的功能開發，一次性完成了不錯的形態，因為cargo test和cargo dupes對其進行了引導。這種優化使Rust成為編寫AI開發平台以及作為AI目標語言的明確競爭者。而這種效率意味着更少的標記使用、更低的成本、更少的熱量、更小的RAM價格壓力等。

然而，我觀察到社區中一些極端的反AI情緒。也許這是少數，但聲音很大。可以理解這種疲勞的來源，例如，大量低質的“AI slop”拉取請求壓垮了開源維護者。更糟的是，有些可能是有意惡意的，比如供應鏈攻擊。

但無論如何，我擔心的是這些社區（不僅僅是Rust）以一種不健康的方式與AI脱鈎，以至於這些社區可能為AI提供的“數學捷徑”——使其整體更健康——永遠不會實現，最終我們得到的東西比兩者整合所能達到的最好未來更糟。