人工智慧存在風險的認知審計

本文源自LessWrong上的一篇帖子，作者Alexander Müller提出了一個用於AI存在風險認知審計的框架。該框架旨在幫助人們評估自身對AI存在風險相關信念的認知不確定性——即可以透過更多證據和研究來減少的不確定性，而非隨機性（後者即使擁有完美知識也依然存在，例如公平硬幣的翻轉）。作者強調，本文討論的僅限於認知不確定性，因此下文將簡稱為“不確定性”。

框架的核心是將與AI存在風險相關的問題劃分為多個領域，這些領域按因果鏈排列，但這只是為了闡述方便，並不代表各步驟的機率乘積。作者特別提醒避免“多階段謬誤”，即不能簡單地將各階段機率相乘，否則會低估風險。例如，領域7和8明確是繞過因果鏈的路徑。因此，框架中的任何部分都不應直接相乘。

審計過程建議使用者先逐一思考每個問題，記錄自己的想法和不確定性，最後進行彙總。但考慮到許多人可能沒有足夠的時間，作者也提供了一個快速方法：先做一個整體總結，再深入細節。此外，作者對當前使用的“錨點”並不完全滿意，認為更細化和具體的錨點會更好，但目前的設定總比沒有好，並期待更好的替代方案。

作者承認，這個對映永遠不可能完整。例如，Yudkowsky列表中的每個致命性都可以轉化為一個問題。作者歡迎社群評論指出遺漏的重要領域和子領域，並計劃動態更新列表，至少每三個月更新一次（當他重新執行自己的審計時）。

值得一提的是，Fable 5基於本文生成了一個包含超過1000個問題的擴充套件列表（Google Doc）。作者僅瀏覽過這份文件，未做任何修改，但認為其中一些新問題很有趣。此外，作者強調，這篇帖子的重點不在於具體問題（儘管有些問題很有用），而更多在於框架本身。許多問題背後都有假設，這些假設才應該是真正的問題，並且最好是更窄、可證偽的。但對於剛進入該領域的人來說，當前的問題仍然有價值。使用者可以根據需要替換問題，並仍然使用此框架。

總之，本文提供了一個結構化的工具，用於系統性地反思AI存在風險，並鼓勵社群參與和動態更新。