AIはハンドルバーなしで私の自転車に乗れる

私はFlobotの「Handlebars」を初めて聴いた時のことは覚えていないが、最近またよく聴いている。過去とつながるために。歌詞は、誰かがハンドルバーなしで自転車に乗れる喜びを表現するところから始まり、終わりには大虐殺で世界を終わらせると脅す。歌詞の解釈はいくつかあるが、アーティスト自身が意図を明確にしている。「この曲は、人間が破壊的にも創造的にもなる可能性を持っているという考えについてです。軍事革新への欲求は無限ですが、世界の飢餓をなくすようなプロジェクトは馬鹿げていると見なされる。それが悲劇的です。創造性の瞬間、革新の爆発が起きるたびに、その革新は抑圧と破壊に使われる。」

この曲は、規模が人間の革新をほぼ常に腐敗させることを語っている。つまり、ハンドルバーなしで自転車に乗るような単純な行為に意味と喜びを見出す同じ革新精神が、衛星なしでミサイルを誘導することに意味（場合によっては喜び）をもたらすこと。人間のエゴが大規模になると危険なものになる。

これがAIの世界につながる。今日の人工知能の世界では規模がすべてであり、大規模データセンター競争が続いている。フロンティアモデルの背後にある企業も極端に大規模化し、評価額は数千億ドルに上る。この曲はこの物語にもよく当てはまる。

AGI、意識、AI軍拡競争

AIのCEOたちはなぜか終末について語るのが好きだ。彼らがよく語るもう一つの非専門的な話題は意識であり、多くのフロンティア研究所は意識をAI開発のマイルストーンの一つとほのめかしている。つまり、彼らのモデルは人間を表現し模倣するだけでなく、実際に人間になる可能性があると。しかし、ほとんどはこの文脈で真の意識を持つ存在の倫理的・道徳的意味を真剣に考えない。

サム・アルトマン（OpenAI CEO）は「AIはおそらく世界の終わりにつながるだろうが、その間にも素晴らしい企業が生まれる」と述べている。

知的機械が世界を破壊するという考えは新しいものではない。多くのSF作品がこの状況を探求している。ほとんどは超知能システムが完全に意識を持つか、そのように振る舞う。しかし、これらのコンピュータやソフトウェアがどのようにしてそうなったかは説明されない。

意識は常にAI議論の中心にあるが、真剣に議論されることはない。例えば、CEOは自社が3年以内にAGIに到達すると大胆に宣言するが、意識を持つ存在を所有することの法的・倫理的・哲学的枠組みには触れず、広告事業の業績に話を移す。しかし、意識はAGIの定義の一部なのか？コンセンサスはノーのようだ。

最近では、リーダーたちがAGIを意識の主張ではなく能力の閾値として定義しようとする傾向も見られる。例えば、昨年アルトマンはAGIについて「あまり有用な用語ではない」と述べた。生きたデジタル犬を作るよりも、効果的に人間の労働を代替できるシステムの開発に焦点が移っていると推測できる。

意識のないAIシステムが人間のタスクを超人的に実行できれば、倫理的問題は回避できるが、社会全体にとっては危険なものになる。ただし、スカイネットのような形ではなく。

AnthropicのCEOダリオ・アモデイは「人類はほとんど想像を絶する力を手にしようとしており、それを使いこなす成熟度を持っているかは深く不明だ」と警告する。彼のエッセイの多くはAI規制強化の主張であり、リスクは自己責任で読んで判断してほしい。

いずれにせよ、AI軍拡競争が順調に進めば、最悪のケース（AI企業から見て）は、LLMが計算量増加で意識を持たないが、より良い統合と活用により、あらゆる分野でAIが真に有用になり、AIの「管理者」（つまりそれらをコントロールする企業）がほとんど想像を絶する力を与えられ、それを使いこなす成熟度があるか不明な点だ。

この時点で、アモデイ氏の懸念は現実的なものになる。しかし、彼の答えが「カール・セーガンの本『コンタクト』の映画版で、天文学者が...」というシーンから始まるブログ記事に見出されるとすれば、それは十分に真剣ではない。彼はエッセイをロマンチックなSF参照で枠組み、差し迫った地政学・経済危機を哲学的思考実験として扱い、説明責任の難しい質問を飛ばしている。

基本レベルの読解でも、彼は難しい質問のほとんどを飛ばし、億万長者の慈善活動や邪悪な中国へのハードウェアアクセス防止などに焦点を当てている。もしあなたが億万長者で当該AIをコントロールしているなら素晴らしい答えだが、最も良い答え、最も倫理的な答え、すべてにとって最も公平な答えではないと論じることはできる。

これが再び曲の一節を思い出させる：

「100万回のワクチン接種もできる／さもなければ全員を苛立たせて死なせることも／全員の傷を癒すことも／全員を暗殺で殺すことも／誰でも刑務所に入れられる／ただそれが嫌いだから／そして許可なく何でもできる」

Google、OpenAI、Amazon、Anthropicなどの米国民間企業がそうである世界は良い世界には聞こえない。そしてそれが、AGIがあろうとなかろうと、我々が向かっている世界かもしれない。

人間のエゴが依然として問題

面白いことに、テクノCEOたちはしばしば「AI」がx年後にy％の仕事を奪うと主張する。しかし、自社がそうすると言うことは決してない。彼らが数十億ドルを投資してそうなることを望んでいると認めることもない。むしろ、「AI」が仕事を奪い、人間を置き換え、我々は降りかかる邪悪な冬に警戒しなければならないと言う。

しかし、見る限り、OpenAIとその背後で動くモデルの間に違いはなく、すべての民間フロンティアAI研究所も同様だ。それでも、便利なときはAIに完全な主体性を帰し、自分は株式とすべての利益を所有するという感覚がある。あなたは自分が指揮し利益を得る同じ悪魔を非難している。

この場合のAIの道徳的問題は、本当にAIが意識を持つことができるか、その世界でどう生きるかではない。むしろ、AI研究所がその力に値すると信頼できるかどうかだ。歴史は、民間団体がその力に値するものではないことを教えている。

注：この記事の公開バージョン履歴は私のGitHubで見ることができる。