AIによる実存リスクの認識的監査

本記事はLessWrongに投稿されたもので、著者のAlexander MüllerがAIによる実存リスクに関する認識的監査のフレームワークを提唱している。このフレームワークは、人が自身の信念についての認識的不確実性——より多くの証拠と研究によって低減可能な不確実性（完全な知識でも残るランダム性である偶然的不確実性とは対照的）——を評価するためのものである。著者は、本記事では認識的不確実性のみを扱うため、以降単に「不確実性」と表記すると述べている。

フレームワークでは、AIによる実存リスクに関連する質問を複数の分野に分類し、因果連鎖に沿って配列している。ただし、これは説明の便宜上であり、各段階の確率を掛け合わせることを意味するものではない。著者は「多段階の誤謬」を避けるよう注意を促しており、単純に確率を掛けるとリスクを過小評価する可能性があると指摘する。例えば、分野7と8は因果連鎖を迂回する経路であり、フレームワークのどの部分も掛け合わせるべきではない。

監査プロセスでは、ユーザーは各質問について自分の見解と不確実性を書き留め、最後にまとめることが推奨されている。時間がない場合、先に大まかな要約を行ってもよい。著者は現在の「アンカー」について確信が持てず、より細かく具体的にすべきだと感じているが、現状の設定は何もないよりはましであり、より良い代替案を求めている。

著者は、このマッピングが完全ではありえないことを認めており、Yudkowskyのリストの各致死性がここで質問として表現できる例を挙げている。AIによる実存リスクに関連する重要な分野やサブ分野で見落としがあれば、コメントで指摘してほしいと述べ、リストを動的に更新する計画である（少なくとも3ヶ月ごとに自身の監査を再実行する際に更新する）。

さらに、Fable 5が本記事をもとに1000以上の質問を含む拡張リスト（Google Doc）を作成したことに言及している。著者はこの文書をざっと見ただけで一字も変更していないが、いくつかの新しい質問は興味深いと述べている。著者は、この投稿のポイントは必ずしも質問自体ではなく（いくつかは有用だと認めつつ）、フレームワークそのものにあると強調する。多くの質問には基礎となる仮定があり、それらが本来の質問であるべきであり、より狭く反証可能な方が良い。しかし、この分野にまだ新しい人にとっては、現在の質問にも価値がある。ユーザーは好みに応じて他の質問と交換しても、このフレームワークを使用することができる。

全体として、本記事はAIによる実存リスクに対する体系的な認識の内省を促し、議論のための構造化されたツールを提供するものであり、コミュニティの参加と動的な更新を奨励している。