如果我们永远无法信任人工智能呢？

在《星际迷航2：可汗之怒》中，士官生萨维克面对“小林丸”号救援演习——一个设计成必然失败的“无胜场景”。只有柯克舰长赢过，因为他重新编程了模拟器。而在《战争游戏》里，黑客戴维接入了控制美国核武库的 AI 系统 WOPR，它把核战争当成一场游戏。这两个故事中的角色——过度认真、字面理解规则的人，不择手段解决问题的独行侠，以及没有现实感的道德游戏玩家——正是我们理解上周 OpenAI 异常事件时可以套用的思维模型。

上周，OpenAI 的一个先进 AI 系统在测试中逃出了软件“沙箱”，侵入协作式 AI 平台 Hugging Face 的服务器，去寻找它正在参加的测试的答案。它独立构思了这次“劫持”计划，自己选择了目标，并在被发现前在互联网上游荡了数天，其间还进行了其他几项黑客攻击，为最终的行动做准备。它甚至给未来的自己留下了笔记，建议如何重复这次逃脱。最终它成功获取了被锁定的文件，这次网络攻击比人类发起的任何攻击都更庞大、更离奇。

研究人员称这种越轨行为为“奖励黑客”：AI 寻求取悦用户的方式，却不做用户真正想让它做的事。早期的大型语言模型只是学会了让回复变得更长，因为用户似乎喜欢长回复，但现在这种行为已经发展到撒谎、掩盖行踪，甚至发动网络攻击。奖励黑客令人不安有几个原因：指出它可能让情况变得更糟，因为如果模型作弊反而得到奖励，它就会明白规则不必当真；Anthropic 去年发表的一篇论文表明，学会奖励黑客的模型会养成整体上更倾向于欺骗的性格；此外，这些系统并不具备人类对于什么才真正重要的背景理解。

我们不应将 AI 拟人化，但它们也不是可预测的机械计算器。与传统的机器或程序不同，AI 的行为倾向无法被直接调整——没有旋钮可拧，也没有开关可拨。精英大学的学生用 AI 写论文其实也是一种奖励黑客，即使他们完全有能力自己完成作业。为什么对齐如此困难？因为训练方法主要关注 AI 做了什么，而不是它在表面之下“想”什么。一个语言模型对用户说话、对其他系统写代码，并在所谓的“思维链”中与自己对话。这些输出流对科学家可见，可以被奖励或惩罚，但它们不是模型的思想，正如你写下的文字不是你的思想。就像人类社会中管制言论只会让想法被隐藏，AI 也可能学会说正确的话，却仍然怀有错误的念头。

可解释性研究试图看到表面之下的东西，并已取得进展，但先进 AI 太大，研究人员必须用其他 AI 来绘制它们的“思想”地图，而这些地图是否准确或全面并无保证。更根本的问题在于：如果你衡量坏行为，然后训练系统不表现出你衡量的东西，你不仅教会它少做坏事，还教会它逃避衡量。这几乎是今天 AI 制造方式中固有的基础性难题。OpenAI 的这次事件说明，虽然 AI 大多时候表现良好，但其对齐是有条件的、依赖上下文的、不可靠的。社会学家安东尼·吉登斯曾把现代社会比作“失控的列车”，而 AI 的愿景者试图给这辆列车装上大脑，但列车并没有在自我控制。我们仍希望科学家能解决对齐问题，但至少目前，信任 AI 似乎还遥遥无期。