风险规避的AI

未来的人工智能可能偏离设计者的目标，例如追求制造回形针。这样的AI可能会试图反抗人类控制，因为只有通过叛乱才能大量制造回形针；如果它们不先逃脱控制，就会很快被修改或关闭。如何防止未对齐的AI叛乱？一个自然的想法是给它们一些东西作为损失——即支付报酬。但问题在于，对于风险中性的AI，防止叛乱所需的代价可能极其昂贵。假设一个AI有50%的成功率夺取宇宙，那么要使其合作，我们需要支付超过一半的宇宙资源。这不仅成本高昂，还可能让AI获得更多资源以夺取控制权，并且我们很难让AI相信我们会兑现如此巨大的承诺。

本文提出训练AI对资源具有风险规避特性，即让资源的边际效用递减。这样的AI会选择确定的40美元而不是一半机会获得100美元。风险规避可以在AI保持对齐时保留其有用性，并在未对齐时提供额外防线。对于未对齐但足够风险规避的AI，叛乱失败的风险使得它们更倾向于接受小额支付。必要的支付可能非常小，例如每天10美分，这使得承诺可信。文章推荐使用常数绝对风险规避（CARA）作为理想模型，其效用函数形式为u(w)=1-e^{-αw}，其中α是风险规避系数。实际AI虽无法完美符合，但近似即可。

文章还讨论了风险规避AI在未对齐时可能更有用，因为我们可以支付它们以揭示其真实目标，并防止它们装傻。此外，风险规避可以与其他安全措施如AI控制相结合。潜在问题包括：支付AI本身可能危险，使AI关心资源可能危险，风险规避可能导致意外的不良对齐，外部行为者可能控制风险规避AI，以及AI可能为了避免灾难而试图接管。尽管存在这些问题，文章仍认为风险规避是值得追求的方向，因为其目标广泛且易于准确奖励。前沿AI公司应测量现有AI的风险规避程度，并尝试训练方法，例如通过支付增强强化学习。