人工智能存在风险的认知审计

本文源自LessWrong上的一篇帖子，作者Alexander Müller提出了一个用于AI存在风险认知审计的框架。该框架旨在帮助人们评估自身对AI存在风险相关信念的认知不确定性——即可以通过更多证据和研究来减少的不确定性，而非随机性（后者即使拥有完美知识也依然存在，例如公平硬币的翻转）。作者强调，本文讨论的仅限于认知不确定性，因此下文将简称为“不确定性”。

框架的核心是将与AI存在风险相关的问题划分为多个领域，这些领域按因果链排列，但这只是为了阐述方便，并不代表各步骤的概率乘积。作者特别提醒避免“多阶段谬误”，即不能简单地将各阶段概率相乘，否则会低估风险。例如，领域7和8明确是绕过因果链的路径。因此，框架中的任何部分都不应直接相乘。

审计过程建议用户先逐一思考每个问题，记录自己的想法和不确定性，最后进行汇总。但考虑到许多人可能没有足够的时间，作者也提供了一个快速方法：先做一个整体总结，再深入细节。此外，作者对当前使用的“锚点”并不完全满意，认为更细化和具体的锚点会更好，但目前的设置总比没有好，并期待更好的替代方案。

作者承认，这个映射永远不可能完整。例如，Yudkowsky列表中的每个致命性都可以转化为一个问题。作者欢迎社区评论指出遗漏的重要领域和子领域，并计划动态更新列表，至少每三个月更新一次（当他重新运行自己的审计时）。

值得一提的是，Fable 5基于本文生成了一个包含超过1000个问题的扩展列表（Google Doc）。作者仅浏览过这份文档，未做任何修改，但认为其中一些新问题很有趣。此外，作者强调，这篇帖子的重点不在于具体问题（尽管有些问题很有用），而更多在于框架本身。许多问题背后都有假设，这些假设才应该是真正的问题，并且最好是更窄、可证伪的。但对于刚进入该领域的人来说，当前的问题仍然有价值。用户可以根据需要替换问题，并仍然使用此框架。

总之，本文提供了一个结构化的工具，用于系统性地反思AI存在风险，并鼓励社区参与和动态更新。