AI极限与社会鸿沟

2026年7月9日

AI极限与社会鸿沟

我观察到围绕AI的几种极端阵营：AI将取代人类、AGI已到来、不惜一切代价拒绝AI、AI具有意识。考虑到LLM展现出的超乎想象的智能，以及大规模失业、泛滥的低质内容和AI驱动的诈骗，这些立场的形成是可以理解的。

但这些立场声音很大，且可能危险。AI本身是美好的事物，然而不同阵营之间的分歧可能在社会层面产生规模影响。AI很可能已经不可逆转，我们无法选择退出，必须与其共存。首先，让我们回顾一下基于LLM的AI过去和现在的本质。

裸LLM

除非我错过了AI界的重要新闻，当有人宣称“我们的模型拥有博士水平的智能”时，“模型”一词（指LLM）实际上仅指变压器块，即大量“高度连接”的数字层（权重），这些数字是训练所用巨量数据的解构投影。

LLM具有特定的连接形状和算术运算，足以捕捉人类文本的复杂性，使其在重现时具有意义。因此，当被问“泰国的首都是哪里？”并正确回答“曼谷”时，是因为网络的复杂性和训练数据中文本的模式驱动了收敛于“曼谷”的结论。

稍后重要的几个事实：

裸LLM做三件事：计算对数概率、嵌入和生成下一个标记。忽略前两者，生成下一个标记的方式是从最可能的下一个标记中选取——这些标记很可能但不总是正确。这就是为什么大多数AI聊天应用现在都带有免责声明，如“AI可能犯错”。

其“在保持合理词序的同时抽象想法”的能力使其成为极好的隐喻引擎。以下是我在llama3.2-3b上的几次尝试：

“请只用一个词回答以下问题：汽车最接近首都的想法是什么？”引擎。 “请只用一个词回答以下问题：钢琴的父级是什么？”大键琴。

然而，即使答案不合理，它仍然会回答： “请只用一个词回答以下问题：存在的存在最接近什么？”不存在。

随着LLM变得不确定，其答案从最可能正确逐渐变为隐喻性回答，再到自信的胡说八道，且没有明确的信号表明它处于哪个区域。

注意：如果对非裸LLM尝试上述隐喻测试，输出可能不同，因为非裸LLM（尤其是在Google搜索、Perplexity等应用中）很可能被系统提示包装。

中文屋

假设这样一个场景（如果你懂中文，假装不懂）：

你被锁在一个房间里，有铅笔、纸、橡皮和你可以阅读并需要遵循的指令。你不懂中文。有人从门下塞进一张写有中文汉字的纸。按照指令，你需要根据收到的纸写一个新的汉字。然后将写好的纸塞出房间。收到你纸的人可能会断定你懂中文，因为你给出的答案对他们来说是有意义的。

这是约翰·塞尔1980年的思想实验，我们可以用它来理解LLM最可能的运作方式。LLM重现出有意义的词语并不意味着它理解任何东西。它只需要足够丰富的指令。

LLM有很大可能并不真正理解它所说的话。

《克劳德的循环》论文

2026年3月，唐纳德·克努特发表了一篇题为《克劳德的循环》的论文，关于这篇论文的标题令人恼火且误导性地高呼“LLM解决数学问题”。

这是夸大其词！（尽管克劳德在该论文中的表现相当惊人：克劳德Opus 4.6在一小时内进行了31次试错探索，并得出了所有奇数m的具体构造，随后在m≤101范围内得到了经验验证。）但克努特制定了严格的数学证明，而偶数情况在当时超出了克劳德的能力。发现一个有希望的图案和证明其正确是完全不同的事情。克劳德还进入了“愚蠢区域”，需要引导——这是AI高级用户应该熟悉的情况。

LLM是多对一的纯函数

关于LLM的另一件事是，我们知道它如何构建和训练。它是一个封闭的确定性系统：给定相同的权重、相同的提示和相同的随机种子，对于相同的输入，它返回相同的输出。这是一个多对一的纯函数。

这意味着，它只有在被提示时才会揭示所“知道”的内容，只不过它知道并连接了很多东西，这很惊人。可以将其视为类似于棱镜的东西，它将光折射成多种颜色，而你的提示就是入射光。

回到问题

现在，一个值得尊敬的警告是阶级分化与对立的风险，原因包括“AI解决数学问题”的虚假信息、“AI将取代人类”的恐惧宣传，甚至“任何使用AI的人都是恶意的”这种想法。历史已经有过一次教训：互联网——访问变得廉价，但使用技能和信任校准让熟练用户与其他人之间形成鸿沟。LLM正沿着同样的轨迹：每个人都获得工具，但只有一些人培养出引导它的判断力。这些人将其转化为利润；利润购买更好的工具和更多时间来磨炼判断力。这一反馈循环使AI鸿沟与财富差距一致，并同时扩大两者，知识差距也随之而来。剩下的你可以想象，因为我们已身在其中。

然而，最糟糕的情况是代理鸿沟。做出由AI信息辅助决策的人与完全由AI代替决策的人之间只有一线之隔。这条线就是引导行为：事实核查、将LLM拉回用户真正想要的意思，以防止输出滑向失败的梯度。这是一个微妙的差距，但足以偏离具有巨大影响的高层决策轨迹——想象一下国家层面或涉及生命的关键决策。

代理鸿沟和阶级鸿沟还使得快速构建一个能够将社区封闭起来、使其受系统所有者控制的系统成为可能。这类系统在现代世界已经存在。但AI可以将系统所有者的代理能力放大到一个小命令就能产生迅速变化，压倒社区的认知能力，从而在需要时放大控制的效果。当这种控制出于恶意目的时，危险就会出现。这种特定情景正是赛博朋克故事一直警告我们的。

回顾LLM就像“静态折射棱镜”，且“可能不确定但自身不知道不确定”，尤其是在被问及寻求真理的问题并需要跳出框框思考时，我们所有人可能都没有意识到人类判断真相的价值有多大。这涵盖了从AI对齐倡议到个人数据标注者。这意味着，奇点就是我们自己。

同样作为“静态折射棱镜”，它本身不会主动做任何事情。它只反映和折射进入其中的东西——训练数据、你的问题等——就像艺术、音乐、电子游戏、文学以及其他语言和媒介。它不会在实验室里自行成长为奇点并像反乌托邦科幻故事中那样逃脱。如果真的发生，那一定是有人将其推到极端并有意或无意地部署，这又回到了恶意与无能之争。（除非有人决定在AI中引入真正的随机性。）

因此，至关重要的是让这些极端阵营通过各自了解对方不知道的事情来达成一致。换句话说，同理心。

同理心不是为了感觉良好。它是祛魅的工具。你不希望那些反对你的人为你定义真相。以“所有AI公司都是恶的”为例：即使在AI公司内部，也存在不同方向的力量。过去，AI公司成员曾发表具有形而上破坏性的声明，称AI“就像我们一样”或“有意识”，而现在业界已通过实际研究纠正（或至少公开审视）了这一立场。（以及许多其他对齐和安全努力。）

反过来也一样。以那些面临不公平条款和条件的AI数据工作者为例。他们是“奇点就是我们自己”的具体体现：是模型从中提炼的人类判断真相的一部分。他们的协会要谈判公平条款，就需要足够清晰地看清AI公司内部，了解真正的影响力所在。而AI公司也必须清晰地看到回报：标注数据的人的福利直接影响基于这些数据构建的模型质量。压榨标注者，就是毒害自己的地面真相。像基于LLM的AI这样庞大的现象是一场需要整体思维的持久战。

示例：务实的Rust社区

一些编程语言比另一些更强大。我个人非常喜欢Rust在表达正确性方面的强大能力。它可以用很少的词语告诉你什么时候允许什么，比如哪个对象可以传递给另一个线程，对共享内存可以进行什么访问等。

鉴于其正确性的潜力，Rust是使AI对齐的强大工具。例如，我曾见过一个基于智能体AI的功能开发，一次性完成了不错的形态，因为cargo test和cargo dupes对其进行了引导。这种优化使Rust成为编写AI开发平台以及作为AI目标语言的明确竞争者。而这种效率意味着更少的标记使用、更低的成本、更少的热量、更小的RAM价格压力等。

然而，我观察到社区中一些极端的反AI情绪。也许这是少数，但声音很大。可以理解这种疲劳的来源，例如，大量低质的“AI slop”拉取请求压垮了开源维护者。更糟的是，有些可能是有意恶意的，比如供应链攻击。

但无论如何，我担心的是这些社区（不仅仅是Rust）以一种不健康的方式与AI脱钩，以至于这些社区可能为AI提供的“数学捷径”——使其整体更健康——永远不会实现，最终我们得到的东西比两者整合所能达到的最好未来更糟。