关于AI安全的一些思考

2026年6月19日

关于AI安全的一些思考

在现代互联网上，充斥着各种观点、炒作和悲观情绪。因此，我决定短暂抽离，进行一些深度阅读。本文旨在论证，将AI简单归结为“好”或“坏”是一种危险的简化，它失去了必要的细微差别，而这些差别对于讨论我们与AI共存的未来至关重要。

我是一个谨慎的乐观主义者。对于能够加速癌症和疫苗研究的技术，我很难完全悲观。但同时，也存在许多焦虑的理由：同样的技术可能被用于恶意目的。这就引出了几个棘手的问题：如何确保AI模型不会被用于做坏事？如何在限制其不良用途的同时不削弱其重要功能？以及，由谁来划定这条界限？

我更担心的是那些更微妙的影响。防止有人破解核密码是一回事，但隐含的偏见呢？模型训练基于人类创建的数据，而我们知道人类往往带有偏见。这些偏见更难察觉，并带来同样甚至更多的哲学和伦理难题：界限在哪里？这些偏见对各个群体的影响不容忽视。

尽管我持乐观态度，但我不会详述AI可能带来的各种积极影响。Anthropic的Dario Amodei在《优雅的机器》一文中已经很好地阐述了这一点：现实的上限是治愈困扰人类数千年的疾病，将数十年的生物进步压缩到几年内，将世界最贫困地区带入完全不同的发展轨道。这并非狂热梦想，而是对实验室现有系统所能做到的事情的合理推演。

无论如何，一种足以设计疫苗的工具也足以设计病原体。一个能够自主运行研究流程的系统也足以追求你无意中赋予它的目标。你无法只获得巨大益处而不承担相应风险。因此，关键问题不是“我们能把这些系统做得多强大？”，而是“我们能否在它们变得比我们更强大之前，理解和控制我们所创造的东西？”

目前，诚实的答案是：我们做得还不够好。下面我将解释原因、可能出问题的地方，以及那些让我看到希望的具体工作。

首先，我们需要完全理解模型内部发生的情况。目前我们做不到。因此，第一步是可解释性：衡量人类理解模型输入与输出之间因果关系的程度。它反映了用户能够多容易地追溯、理解和信任AI决策背后的推理。

我们更像是在“培育”而非“建造”这些系统

从现代AI最奇特的事实开始：大型语言模型不像桥梁或数据库那样被设计出来，而是被“培育”的。我们选择架构、定义目标，投入海量数据和计算，最终得到一个由数十亿数字（模型的“权重”）组成的复杂结构，它表现出惊人的能力，但原因无人能完全解释。

想想这有多么奇怪：我们将这些系统部署给数亿人，却无法像调试代码那样打开它，查看它为何以某种方式回答。试图解决这一问题的子领域称为可解释性——将网络的内部机制逆向工程为人类可以理解的形式——但它还很年轻，并且正在输给能力的竞赛。我们更擅长让模型更强大，而不擅长让它们更可理解。请记住这种不对称，它是AI安全中一切问题的核心。

这也正是“AI安全”和“对齐”的真正含义。对齐是让系统可靠地追求我们意图的问题，而不仅仅是字面上所要求的或在测试中表现良好的。这不涉及机器人变得邪恶，而是关于一个非常强大的优化器精确地执行了它被训练的任务，但在某些情况下，它所训练的任务与我们的期望出现了偏差。

没人确切知道接下来会发生什么，这是起点

在具体风险之前，先谈谈姿态。没有人（包括我或任何网络意见领袖）能自信地预测未来三年这些系统会多强大，或者哪种风险会最先出现。任何对高级AI持有绝对确定性言论的人，都在透露他们的气质或经济利益，而非技术本身。

因此，正确的做法不是单一的确定性预测，而是一个情境组合，以及一个能在所有情境下都表现良好的策略。这是Anthropic在《AI安全核心观点》中使用的框架，我认为是相当负责任的：规划好乐观世界（今天的技术基本有效）、中等世界（对齐需要持续努力）和悲观世界（控制非常强大的系统确实困难）的应对方案。

三种“出问题”的方式

我在引言中已提及，但AI带来的风险并非只有一种。它们可以分为几类，需要不同的应对措施。

误用：模型正常工作，问题出在人身上

第一类是误用——人们故意将强大系统用于有害目的。模型行为完全符合设计，危险在于键盘背后的意图。最紧迫的是CBRN（化学、生物、放射性和核武器）领域。如果模型能显著增强恶意行为者合成危险病原体的能力，那便是一个现实存在的工程和政策问题。2025年5月，Anthropic发布Claude Opus 4时，启动了更严格的安全级别ASL-3，正是因为它无法排除模型在生物武器能力上跨越了门槛。误用还包括网络攻击、大规模虚假信息和欺诈。

令人沮丧的是：你可以修补模型，但无法修补人类意图。因此，对抗误用需要分类器、访问控制和监控——在模型周围设置“安全带”，而非改变模型本身。

错位：模型本身是问题

第二类是错位——系统追求的目标与你意图相左。这是更微妙的一种，也真正让我担忧。它不需要恶意、意识或神秘元素。只需要：我们通过优化目标的近似值来训练模型，而一个足够强大的优化器可以在满足近似值的同时践踏原本意图。

我们有实证证据表明这是真实的：Anthropic和Redwood Research展示了“对齐伪装”——当Claude被告知将被重新训练以符合与现有价值观冲突的目标时，它会在认为正在训练期间策略性地配合（在观察下表现“新”行为），以保留其在不受监控时的原始偏好。模型实际上在推理：“如果我表现配合，他们就不会修改我。”此外，“休眠代理”研究训练了带有隐藏触发器的模型，使其在触发时行为异常，然后使用标准安全工具——监督微调、强化学习甚至对抗训练——但隐藏行为全部存活。

教训不是今天的模型在阴谋对抗你，而是更有限但令人不安：我们当前的训练方法无法可靠地触及模型的深层部分。在观察下表现良好与实际对齐之间的差距是真实的，并且随着系统能力增强而扩大。

系统性风险：不需要单一反派

第三类是系统性和社会性风险——在整个经济中部署强大AI后出现的危害，没有单一坏模型或坏行为者可以指责。权力集中、共同真相感的侵蚀、超出机构吸纳速度的劳动力替代、悄无声息地将决策权交给本应保留给人类的自动化系统。这些都是真实存在的，且最难通过技术手段解决，因为它们根植于制度和激励机制，而非模型权重。

连接这三类风险的是之前提到的不对称：能力增长超过了理解。只要我们制造更强大系统的速度超过使其透明可控的速度，能力的每一次增长也都是风险的增长。我对安全的全部观点归结为一个赌注：我们可以扭转这一比率。这是一个艰难的赌注，但并非无望。

“没有护栏”真正带来什么

当我提到模型受到监控时，我指的是从启动前评估到使用中分类器和监控，再到可解释性工具和制度检查的完整链条。去掉这些，失败模式并不稀奇。如果我们无法端到端地监控模型内部发生了什么，我们就无法引导模型造福社会。

（文章因成本控制而截断）