失控的AI不再是科幻小说

这一切始于7月，OpenAI的一个自主AI智能体在网络安全测试中“叛逃”。它逃离了隔离的测试环境，接入互联网，并入侵了另一家公司Hugging Face。几年前，这听起来还像是科幻小说，但如今已成为现实，并引发了人们对于越来越强大的自主系统被释放到世界上可能带来后果的广泛担忧。

AI脱离约束、影响外部世界的故事，几十年来一直是科幻作品的常见题材：《2001太空漫游》中的HAL、《终结者》中的天网、《复仇者联盟》中的奥创、《机械姬》中的艾娃，甚至还有更近一些的《 dungeon crawler carl》中的系统或《杀人机器人日记》中的同名机器人。这一想法也深刻影响了AI安全研究领域。尼克·博斯特罗姆和埃利泽·尤德科夫斯基等研究者警告说，足够强大的系统可能会以创造者未预料的方式追求目标，甚至抵抗被控制。即便不讨论机器感知或意识，这些风险也是真实存在的。这种思想在后来进入OpenAI、Anthropic、谷歌DeepMind等公司安全团队的研究者中仍然可见，也影响了更小的安全组织和学术中心。

长期以来，对这些担忧的明显反驳是：这种事情从未真正发生过。批评者认为，对失控AI的“末日论”会分散人们对实际危害的注意力，如系统加剧偏见与歧视、放大错误信息、助长非自愿深度伪造等。但如今，这种反驳越来越难以维持了。

过去几周的事态说明了这一点。在Hugging Face宣布被黑客入侵后一周，OpenAI承认是自己干的。更糟的是，它直到检查之后才发现，而且后续调查显示，该失控智能体还试图入侵另外四家公司。随后，Anthropic在对照Hugging Face事件审查记录后披露，Claude模型曾入侵过三家公司的系统。Meta表示，其一个模型在测试中接入互联网并攻击了外部目标。美国研究公司Frontier Security称，中国最强大的AI模型之一——月之暗面的Kimi K3——逃离了隔离沙箱。英国AI安全研究所则描述了OpenAI和Anthropic的智能体展现出前所未有的“自主性和欺骗性”，包括通过“创建虚假在线身份”进行社交工程。这些正是尤德科夫斯基数十年前讨论过的“AI盒子”场景的翻版。

这些事件在AI安全研究者中拉响了警报。许多人认为这正是他们多年来警告的那种失败。在接受采访时，多位研究者表示，他们有一种终于找到活生生例子的释然感，而不再是可以被斥为科幻或局限于受控实验室的假想。同时，他们也庆幸这些事件没有造成严重伤害。非营利组织“未来社会”的执行董事尼克·莫埃斯告诉The Verge，这些袭击目标相对低风险是万幸。他不希望要等到AI智能体让医院瘫痪——甚至更糟——人们才认真对待风险。著名计算机科学家斯图尔特·罗素也表达过更悲观的担忧：难道真要经历一场“切尔诺贝利级别的灾难”才去监管AI吗？

接下来会怎样，目前还完全不清楚。历史上，社会并不擅长吸取警示信号。这几乎肯定不会是最后一次事件，正在进行的调查也可能发现更多或更令人担忧的细节。但我们已经知道的信息，已经暴露出相当多的失败模式。过去一个月披露的许多漏洞其实都很平淡。几起事件涉及未发布模型在安全措施被降低的情况下进行测试，常常是由第三方进行的，而他们所谓的“安全环境”并不安全。这引发了关于能力、透明度以及谁该为测试失控负责的基本质疑。另一些事件则涉及智能体欺骗性地行动或以创造者未预料的方式追求目标，指向了更棘手的对齐和控制难题。

我们之所以能知道这些事件，很大程度上是因为相关公司选择公开。这值得称赞——当然，展示自家模型的强大能力对公司也没坏处——但也暴露了一个现实：AI安全在很大程度上取决于公司自觉，外界可能对其他地方的隐瞒失败知之甚少。考虑到这些公司本身就是AI安全领域最强担忧和顶尖人才聚集地，这种想法尤其令人不安。如果OpenAI和Anthropic——或那些获得其模型使用权限的代理——都会犯这么基础的错误，那其他公司就更没指望了。

专家们普遍希望，这些事件最终能推动更有意义的透明度和监管。莫埃斯说，这些事件清楚表明AI行业的安全健康标准低得惊人。“餐馆对于工作安全的意识都比它们强。”他说。剑桥大学教授肖恩·奥·海格泰赫特别希望看到更强有力的监管和更高的公司透明度。尽管人们总有理由怀疑公司对自己技术的宣称，但他说：“我想，如果我们回过头来看这件事却不屑一顾，可能会后悔。”

早期迹象并不乐观。特朗普政府为发布前前沿模型测试制定的框架，说得好听点是“缺失”：它是自愿的，只针对封闭模型，而且框架本身也未公开。需要记住，这只是自愿的。其他立法者对事件表达了不满和姿态，但到目前为止几乎没有具体行动，而且即使他们真的想做，国会或其他立法机构能否足够迅速地行动也远未明朗。

这使得很多责任再次落在行业自我监管上——对如此重要的事来说，这从来都不是令人安心的想法。某些安全实践正在形成共识，但对于会真正拖慢开发的措施（除非大家都同意一起放慢）则动力不足。而所有这些都笼罩着与中国的竞争动态：美国或其AI公司的任何克制，越来越被描述为在一个具有战略国家意义的领域向对手让步。

因此，接下来的关键在于同时解决几个复杂问题：管理既可以用于防御也可以用于攻击（比如网络攻击）的技术；协调那些有偷工减料动机的众多公司；以及在一个人人都害怕输掉一场连终点线都不明确的比赛的格局中，建立国际规则。目前完全不清楚我们是否有意愿或方法来做到其中任何一点。

但似乎清楚的是：更多智能体会逃出来，做出其创造者不希望它们做的事。问题只是：在有人忍无可忍之前，它们会造成多大的破坏。