風險規避的AI

未來的人工智能可能偏離設計者的目標，例如追求製造回形針。這樣的AI可能會試圖反抗人類控制，因為只有通過叛亂才能大量製造回形針；如果它們不先逃脱控制，就會很快被修改或關閉。如何防止未對齊的AI叛亂？一個自然的想法是給它們一些東西作為損失——即支付報酬。但問題在於，對於風險中性的AI，防止叛亂所需的代價可能極其昂貴。假設一個AI有50%的成功率奪取宇宙，那麼要使其合作，我們需要支付超過一半的宇宙資源。這不僅成本高昂，還可能讓AI獲得更多資源以奪取控制權，並且我們很難讓AI相信我們會兑現如此巨大的承諾。

本文提出訓練AI對資源具有風險規避特性，即讓資源的邊際效用遞減。這樣的AI會選擇確定的40美元而不是一半機會獲得100美元。風險規避可以在AI保持對齊時保留其有用性，並在未對齊時提供額外防線。對於未對齊但足夠風險規避的AI，叛亂失敗的風險使得它們更傾向於接受小額支付。必要的支付可能非常小，例如每天10美分，這使得承諾可信。文章推薦使用常數絕對風險規避（CARA）作為理想模型，其效用函數形式為u(w)=1-e^{-αw}，其中α是風險規避係數。實際AI雖無法完美符合，但近似即可。

文章還討論了風險規避AI在未對齊時可能更有用，因為我們可以支付它們以揭示其真實目標，並防止它們裝傻。此外，風險規避可以與其他安全措施如AI控制相結合。潛在問題包括：支付AI本身可能危險，使AI關心資源可能危險，風險規避可能導致意外的不良對齊，外部行為者可能控制風險規避AI，以及AI可能為了避免災難而試圖接管。儘管存在這些問題，文章仍認為風險規避是值得追求的方向，因為其目標廣泛且易於準確獎勵。前沿AI公司應測量現有AI的風險規避程度，並嘗試訓練方法，例如通過支付增強強化學習。