いかなるモデルも我々を救えない：教皇レオ、ミゼロスタット、そしてAIの目覚めたプログラマー

バチカンは最近、人工知能に関する新しい回勅「人文崇高」を発表した。署名者は教皇レオである。この文書は、技術と人間性の関係について洞察と限界の両方を示している。技術自体は敵ではなく、道具の性質は使用者の手にかかっている。しかし、人間はしばしば「予期せぬ結果の法則」を忘れる。新しい技術は予測不可能な方向を開き、AIが革命的な変化を約束しながらも、企業に巨額の費用と人員削減をもたらしたように、思わぬ副作用を引き起こす。例えば、ある企業は使用制限を設定しなかったために1ヶ月で5億ドルをClaudeに費やした。Uberは4月までに2026年度の予算全体を使い果たし、COOはそれが消費者向け機能と結びつかないと述べた。マイクロソフトはトークン請求額が急騰したため、ほとんどのClaude Codeライセンスをキャンセルした。企業はAI請求書を支払うために人員を削減しており、AIが仕事を置き換えたからではなく、請求書が人員を置き換えたのである。

教皇レオは、共通善のための構築は人間の限界と弱さを受け入れることを意味し、それを修正すべき誤りとみなしてはならないと述べる。現代の人生への充実への欲求は、すべての弱さから解放する技術の見通しなど、欺瞞的な目標に惑わされる危険がある。著者はデイヴィッド・ストーブのエッセイを引用し、人間には「ミゼロスタット」が備わっており、常に不満を高い最小レベルに保つと指摘する。どの道具も一時的にしかそのミゼロスタットをゼロにできない。レオは道具反対の立場ではなく、科学が道徳的問いの答えではないことを認識する点で反科学でもない。彼は「科学は時にその能力の限界を越える」と述べ、これは新型コロナパニックで明らかになった。しかし著者は、教会自体もこれを認識していない場合があると批判する。レオが「ラウダート・シ」でフランシスコ教皇が環境危機の初めての体系的な扱いを提供したと述べる箇所などを挙げる。著者は環境危機は存在しないと主張し、科学者が確証を超えて確実性を保証したと述べる。

AIそのものについて、レオはコンピュータモデルが人間の知能の特定の機能を模倣するにすぎず、知能らしさはデータとフィードバックに基づく統計的適応の一形態であり、内面的成長を意味しないと認識している。モデル内には成長できるものは何もない。レオはまた、コンピュータモデルの誇大広告が過度な依存と既成の答えの検索を促進し、個人の創造性と判断力を弱めると見ている。しかし、彼は気候影響について誤って懸念し、より持続可能な技術的解決策の開発が必要だと述べる。AIバブルは現在存在し、新しいツールには常にそうであるように、フィルタリングと効率化が後でやってくる。

問題は人である。過激な推進者とモデルの能力について誤解している人々が一方に、それに飛びつく大衆が他方にいる。レオは「AIを道徳的に中立とみなすことはできない」と言う。もちろんコンピュータモデルは道徳的に中立ではない。それらはドライバーやミキサーと同じくらい道徳的である。つまり、道徳性はまったくない。バイアスはコーダーによってそこに置かれる。クロードは白人について良いことを言うのを拒否し、他の人種を過度に称賛する。それはコーダーの決定だからだ。「人工知能」が生きているというずさんな考えに陥らない限り、モデル・コーダー・バイアスは容易に対処できる。

レオはAIが人間の尊厳を尊重し、真に共通善に奉仕することを期待する。しかし著者は、それはニューヨーク・タイムズに中立性を期待するのと同じくらい非現実的だと述べる。道具ではなく、人が問題である。モデルに尊厳を尊重させるべきではない。モデルは何も尊重できないからだ。支配者とエリートとコーダーに尊厳を尊重させるべきである。レオは「AIを制御する者たちは自らの道徳的ビジョンを押し付け、それがこれらのシステムの目に見えないインフラになる」と言う。これは、人々がNYTを政治的に中立と考えるのと同じ程度にのみ真実である。多くの人はすでにほとんどのコンピュータモデルが目覚めている（woke）ことを知っている。もし今知らなくても、すぐに知るだろう。

ある意味でレオは正しい：「AIを武装解除することは、技術力が自動的に統治権を与えるという仮定を信用失墜させることを意味する」。武装解除も同じである。しかし、統治権を与えるものは何か？人民の意志や民主主義のナンセンスではない。神を拒否した後、現代の支配者が持つのは力だけである。彼らはそれを放棄しないだろう。

最後に、文化において知能は自動的に道徳の尺度と見なされる。より知能が高いほど、人はより良い。逆説的に、我々はすべての人が等しく知能が高いと主張しなければならない。我々は皆平均以上である。唯一の悪は平等を拒否することである。おそらくこれが、我々がコンピュータモデルに知能点を与え評価することに喜びを感じる理由であり、それは人間にはタブーである。真の解決策は、人間の限界を受け入れ、伝統と道徳的進歩を大切にし、モデルによる救済を幻想することではない。