如何构建安全的AI（而无需让AI本身安全）

在自主LLM被广泛部署以协助各种任务的当下，确保它们像波音747一样安全至关重要。现有方法侧重于为LLM本身提供安全保障，但这一任务极具挑战性，甚至可能无法实现。将LLM视为一个透镜，根据入射光的方向、相位和波长不同而折射不同。我们尚未拥有这种投影的闭合模型，因此确定给定输入是否产生给定输出需要进行实证测试。LLM的高维输入空间、输出空间和参数空间使其从根本上难以认证。

本文提出一种系统方法：将LLM视为更大系统中的一个组件。LLM本身永远无法安全，事实上我们完全不信任它。但通过遵循ISO安全、安保和风险标准中的实践，该系统可以具有安全保障。同样的实践使我们能够拥有天空中的飞机、道路上的汽车和工厂中的机器人。

该方法论直截了当：系统输入/输出边界的安全额定防护栏确保安全运行。为了达到可验证性，例如达到ISO 61508规定的十万分之一失效概率，这些防护栏必须相对于LLM是低维的。例如，工厂机器人中的安全额定急停按钮必须承诺10^-5的可靠性，即如果按下它一定会停止机器人，才能通过TÜV认证。一个简单的例子：检查系统不能写入指定目录之外。随着维度的增加，防护栏可能变为概率性的，例如，具有概率保证的分类器可以在执行前验证bash脚本。

最高维且噪声最大的通道是人类与LLM之间的通道。在LLM的提示下，人类可能会去做任何事情，包括相当可怕的事情。因此，围绕人类-LLM交互实现ISO式的安全保障是不可能的。更现实的思考方式是将其与人类-人类交互进行比较，后者具有广泛的光谱。我们的社会容忍了这种风险：邪教领袖、虐待者和诈骗者存在，并且有时会成功。为了应对这种风险，我们使用一系列干预措施来维持社会结构：法律、医疗保健、教育等。今天我们让一名16岁的司机开车时也采用这种方法。汽车本身按照这些安全标准建造和认证。16岁司机则不然，所以我们教育他，让他有教练陪同，最终让他驾驶。（并且我们容忍车祸是这个年龄段的首要死因。）

然而，与人类的类比在此处开始失效。社会容忍的来自诈骗者和邪教领袖的残余风险是以人类的时间常数校准的。一个诈骗者需要数天或数周才能与一名受害者建立信任。我们的干预措施——法律、教育和社会机构——是针对这个时钟演化的。而LLM在几秒钟内运行相同的循环，并行地针对数百万个目标，利用人类建立其结构所依赖的机制。精确地说，考虑一类代理产生的总社会危害：Rtotal = N × r × p × (1 - v)，其中N是部署的代理数量，r是每个代理单位时间内的交互次数，p是每次交互产生有害结果的概率，v是防护栏的验证覆盖率。对于人类，N × r受人口和生物学限制。对于LLM，N × r受可用数据中心的推理吞吐量、互联网带宽和可提供给模型的上下文窗口限制。这些限制正在快速增长，且没有一个与人类生物学共享上限。即使LLM的p值低于熟练的人类诈骗者，Rtotal也可能超过现有干预措施校准的吸收能力。

这正是LLM的速度——造成问题的原因——也指向了解决方案。两个因素随每次交互的时间预算而缩放：对用户的效用（随交互变慢而下降）和验证覆盖率（随检查时间增加而上升）。将它们建模为：U(t) = e^(-αt)，v(t) = 1 - e^(-kt)，其中α是用户每单位延迟增加损失的量，k是验证效率。每次交互的净价值为V(t) = U(t)v(t) = e^(-αt)(1 - e^(-kt))。最大化V给出最优时间预算t* = (1/k) * (1 + k/α) * ln(1 + k/α)。这个方程具有经典速度-准确度权衡的形状。其中的(1 - e^(-kt))项是Wickelgren在1977年的函数，而基于衰减效用优化思考时间在漂移扩散模型、神经科学和经济学中已被解决。数学并不新鲜。重新框架是：k是并行验证器的效率，而不是个体的证据积累；α是社会整体的延迟容忍度，而不是个人机会成本。心理学中一次研究一个决策的权衡，在数据中心规模上重现为一个工程问题。

比率k/α决定了是否值得放慢速度。当k ≪ α时，验证器太慢而无用，系统应仅优化速度。当k ≫ α时，验证器能在时间预算内做实质工作，最优值转向更多验证。人类无法利用这一权衡，因为我们没有以毫秒延迟对自己认知进行并发过程检查的能力。LLM可以。当一个进程草拟输出时，另一个模拟后果、对照策略验证或与第二个模型交叉检查。更好的验证器（更高的k/α）提高了峰值并将其提前：安全性与吞吐量同时改善。旧的干预措施假设了一个没有空闲周期的串行代理。LLM不是那种代理。

这意味着系统安全策略适用并且需要扩展。我们仍然希望在系统边界设置安全额定防护栏，就像对工厂机器人和飞机所做的那样。我们还需要一类新的干预措施，利用LLM速度创造的延迟预算，并将验证覆盖率作为一流的工程目标而非事后想法。对于LLM，我们需要开发这些干预措施，同时理解没有任何干预措施能使LLM本身足够安全到可以进入飞机驾驶舱。在我的机器人学导论课程中，我让学生阅读FAA关于2009年哈德逊河直升飞机与小飞机相撞的事故报告。事故的一个促成因素是FAA管制员在打一个“不相关的电话”，未能纠正飞行员对纽瓦克塔台无线电频率的错误复诵。但这种事故之所以罕见，正是因为我们有许多检查点，因为我们认识到人类本身不可信，需要层层验证。我们知道如何在不可信组件周围构建安全系统。几十年来，我们在航空、医药和制造业中一直在这样做。这些经验适用于AI，但还不够。我们现在拥有的不可信组件比以前运行得更快。是时候应用旧的经验并建立新的经验了。