如何構建安全的AI（而無需讓AI本身安全）

在自主LLM被廣泛部署以協助各種任務的當下，確保它們像波音747一樣安全至關重要。現有方法側重於為LLM本身提供安全保障，但這一任務極具挑戰性，甚至可能無法實現。將LLM視為一個透鏡，根據入射光的方向、相位和波長不同而折射不同。我們尚未擁有這種投影的閉合模型，因此確定給定輸入是否產生給定輸出需要進行實證測試。LLM的高維輸入空間、輸出空間和參數空間使其從根本上難以認證。

本文提出一種系統方法：將LLM視為更大系統中的一個組件。LLM本身永遠無法安全，事實上我們完全不信任它。但通過遵循ISO安全、安保和風險標準中的實踐，該系統可以具有安全保障。同樣的實踐使我們能夠擁有天空中的飛機、道路上的汽車和工廠中的機器人。

該方法論直截了當：系統輸入/輸出邊界的安全額定防護欄確保安全運行。為了達到可驗證性，例如達到ISO 61508規定的十萬分之一失效概率，這些防護欄必須相對於LLM是低維的。例如，工廠機器人中的安全額定急停按鈕必須承諾10^-5的可靠性，即如果按下它一定會停止機器人，才能通過TÜV認證。一個簡單的例子：檢查系統不能寫入指定目錄之外。隨着維度的增加，防護欄可能變為概率性的，例如，具有概率保證的分類器可以在執行前驗證bash腳本。

最高維且噪聲最大的通道是人類與LLM之間的通道。在LLM的提示下，人類可能會去做任何事情，包括相當可怕的事情。因此，圍繞人類-LLM交互實現ISO式的安全保障是不可能的。更現實的思考方式是將其與人類-人類交互進行比較，後者具有廣泛的光譜。我們的社會容忍了這種風險：邪教領袖、虐待者和詐騙者存在，並且有時會成功。為了應對這種風險，我們使用一系列干預措施來維持社會結構：法律、醫療保健、教育等。今天我們讓一名16歲的司機開車時也採用這種方法。汽車本身按照這些安全標準建造和認證。16歲司機則不然，所以我們教育他，讓他有教練陪同，最終讓他駕駛。（並且我們容忍車禍是這個年齡段的首要死因。）

然而，與人類的類比在此處開始失效。社會容忍的來自詐騙者和邪教領袖的殘餘風險是以人類的時間常數校準的。一個詐騙者需要數天或數週才能與一名受害者建立信任。我們的干預措施——法律、教育和社會機構——是針對這個時鐘演化的。而LLM在幾秒鐘內運行相同的循環，並行地針對數百萬個目標，利用人類建立其結構所依賴的機制。精確地説，考慮一類代理產生的總社會危害：Rtotal = N × r × p × (1 - v)，其中N是部署的代理數量，r是每個代理單位時間內的交互次數，p是每次交互產生有害結果的概率，v是防護欄的驗證覆蓋率。對於人類，N × r受人口和生物學限制。對於LLM，N × r受可用數據中心的推理吞吐量、互聯網帶寬和可提供給模型的上下文窗口限制。這些限制正在快速增長，且沒有一個與人類生物學共享上限。即使LLM的p值低於熟練的人類詐騙者，Rtotal也可能超過現有干預措施校準的吸收能力。

這正是LLM的速度——造成問題的原因——也指向瞭解決方案。兩個因素隨每次交互的時間預算而縮放：對用户的效用（隨交互變慢而下降）和驗證覆蓋率（隨檢查時間增加而上升）。將它們建模為：U(t) = e^(-αt)，v(t) = 1 - e^(-kt)，其中α是用户每單位延遲增加損失的量，k是驗證效率。每次交互的淨價值為V(t) = U(t)v(t) = e^(-αt)(1 - e^(-kt))。最大化V給出最優時間預算t* = (1/k) * (1 + k/α) * ln(1 + k/α)。這個方程具有經典速度-準確度權衡的形狀。其中的(1 - e^(-kt))項是Wickelgren在1977年的函數，而基於衰減效用優化思考時間在漂移擴散模型、神經科學和經濟學中已被解決。數學並不新鮮。重新框架是：k是並行驗證器的效率，而不是個體的證據積累；α是社會整體的延遲容忍度，而不是個人機會成本。心理學中一次研究一個決策的權衡，在數據中心規模上重現為一個工程問題。

比率k/α決定了是否值得放慢速度。當k ≪ α時，驗證器太慢而無用，系統應僅優化速度。當k ≫ α時，驗證器能在時間預算內做實質工作，最優值轉向更多驗證。人類無法利用這一權衡，因為我們沒有以毫秒延遲對自己認知進行併發過程檢查的能力。LLM可以。當一個進程草擬輸出時，另一個模擬後果、對照策略驗證或與第二個模型交叉檢查。更好的驗證器（更高的k/α）提高了峯值並將其提前：安全性與吞吐量同時改善。舊的干預措施假設了一個沒有空閒週期的串行代理。LLM不是那種代理。

這意味着系統安全策略適用並且需要擴展。我們仍然希望在系統邊界設置安全額定防護欄，就像對工廠機器人和飛機所做的那樣。我們還需要一類新的干預措施，利用LLM速度創造的延遲預算，並將驗證覆蓋率作為一流的工程目標而非事後想法。對於LLM，我們需要開發這些干預措施，同時理解沒有任何干預措施能使LLM本身足夠安全到可以進入飛機駕駛艙。在我的機器人學導論課程中，我讓學生閲讀FAA關於2009年哈德遜河直升飛機與小飛機相撞的事故報告。事故的一個促成因素是FAA管制員在打一個“不相關的電話”，未能糾正飛行員對紐瓦克塔台無線電頻率的錯誤複誦。但這種事故之所以罕見，正是因為我們有許多檢查點，因為我們認識到人類本身不可信，需要層層驗證。我們知道如何在不可信組件周圍構建安全系統。幾十年來，我們在航空、醫藥和製造業中一直在這樣做。這些經驗適用於AI，但還不夠。我們現在擁有的不可信組件比以前運行得更快。是時候應用舊的經驗並建立新的經驗了。