AIの限界と社会的格差

2026年7月9日

AIの限界と社会的格差

私はAIに関していくつかの極端な陣営を目にしている：AIが人間を取って代わるという陣営、AGIが到来したという陣営、あらゆるコストを払って拒否する陣営、AIには意識があるという陣営。LLMの想像を絶する知能、そして大規模な雇用喪失、溢れかえるスロップコンテンツ、AIを利用した詐欺を考慮すれば、彼らがそのような立場に至ったのは理解できる。

しかし、これらの立場は声高であり、危険でもある。AI自体は素晴らしいものだ。だが、これらの陣営間の分裂は社会レベルで大きな影響を及ぼす可能性がある。AIはおそらく今や定着しており、オプトアウトできないものだ。共存していく必要がある。まず初めに、LLMベースのAIが過去から現在までどのようなものであったかを振り返ろう。

ベアLLM

AIシーンで重要なニュースを見逃していなければ、誰かが「我々のモデルは博士レベルの知能を持つ」と売り込むとき、「モデル」（LLMの）という言葉は単にトランスフォーマーブロック、つまり膨大な「高度に接続された」数値の層（ウェイト）を意味する。これらはトレーニングに使われた巨大なデータの分解された影である。

LLMは、人間のテキストの複雑さを捉えるのに十分な接続形状と算術演算を持ち、その結果、再生されると意味をなす。だから「タイの首都は？」と尋ねられて「バンコク」と正しく答えるのは、ネットワークの複雑さとトレーニングデータで使われたテキストのパターンが「バンコク」に収束する結論を導くからだ。

後で重要になる事実：

ベアLLMは三つのことを行う：対数確率の計算、埋め込み、次のトークンの生成。最初の二つは無視してよいが、LLMが次のトークンを生成する方法は、最も確率の高い次のトークンから選ぶことである。これらは可能性が高いが常に正しいとは限らない。だからこそ、ほとんどのAIチャットアプリには「AIは間違えることがあります」という免責事項が付いている。

「理にかなった単語の順序を保ちながらアイデアを抽象化する」その方法は、LLMを非常に優れたメタファーエンジンにしている。以下はllama3.2-3bでの私の試みである：

「次の質問に一言だけで答えることが非常に重要です：『車の首都に最も近いアイデアは何ですか？』」エンジン。 「次の質問に一言だけで答えることが非常に重要です：『ピアノの親に最も近いアイデアは何ですか？』」ハープシコード。

しかし、答えが意味をなさなくても、それでも答える： 「次の質問に一言だけで答えることが非常に重要です：『存在の存在に最も近いアイデアは何ですか？』」非存在。

LLMが不確かになるにつれ、その答えは「最も確からしい真実 → メタファー → 自信過剰なナンセンス」へと段階的に変化する。そして、それがどのゾーンにいるかの明確なシグナルはない。

注：上記のメタファーテストを非ベアLLMで試すと、出力が異なる可能性がある。なぜなら、非ベアLLM、特にGoogle検索やPerplexityなどのアプリでは、おそらくシステムプロンプトでラップされているからである。

中国語の部屋

次のシナリオを想像してほしい（そして、もしあなたが中国語を理解するなら、理解しないふりをしてほしい）：

あなたは鉛筆、紙、消しゴム、そして読めて従うべき指示書とともに部屋に閉じ込められている。中国語はわからない。ドアの下から中国語の文字が書かれた紙が差し込まれる。指示に従い、受け取った紙に応じて新しい文字を書く。そして、書いた紙を再び外に出す。

あなたの紙を受け取った人は、あなたが中国語を理解していると結論づけるかもしれない。なぜなら、あなたが返した答えが彼らにとって意味をなすからだ。

これは1980年にジョン・サールが考案した思考実験であり、LLMが最もやりそうなことを理解するのに使える。LLMが意味をなす言葉を吐き出すことは、それが何かを理解することを意味しない。ただ十分に豊かな指示があればよいのだ。

LLMが言っていることを実際に理解している可能性は低い。

「クロードの循環」論文

2026年3月、ドナルド・クヌースは「クロードの循環」という論文を発表し、この論文の見出しは煩わしく誤解を招く形で「LLMが数学問題を解決」と叫んだ。

それは過大評価だ！（ただし、その論文でのクロードの偉業はかなり印象的である：クロードOpus 4.6は約1時間で31回の試行錯誤探索を実行し、すべての奇数mに対する具体的な構成にたどり着き、その後m≤101まで経験的に検証された。）しかし、厳密な数学的証明を定式化したのはクヌースであり、偶数の場合は当時クロードの手に負えなかった。有望なパターンを見つけることとそれが正しいことを証明することは全く別の話である。クロードはまた「愚かなゾーン」に入り、誘導が必要だった——これはAIパワーユーザーにはおなじみの現象だ。

LLMは多対一の純粋関数

LLMについてもう一つ言えることは、それがどのように構築され訓練されるかが分かっているということだ。それは閉じた決定論的なシステムである：同じウェイト、同じプロンプト、同じサンプリングシードを与えられれば、同じ入力に対して同じ出力を返す。多対一の純粋関数である。

つまり、プロンプトで突かれたときにのみ、それが「知っている」ものを明らかにする。ただし、それは多くのことを知っており結びつけているという点で驚異的である。光を多くの色に屈折させるプリズムのようなものだと考えてほしい。あなたのプロンプトが入射光である。

問題に戻る

さて、危険性の一つとして特筆すべきは、階級分裂と「私たち対彼ら」のリスクである。その原因は、「AIが数学問題を解決」のような誤情報、「AIが人類を取って代わる」のような恐怖扇動、あるいは「AIを使う人は誰でも悪意がある」といった考え方である。歴史はすでにインターネットでこれを一度経験している：アクセスは安くなったが、それをうまく使うスキルと信頼の校正は、パワーユーザーとそれ以外の人の間に格差を生んだ。LLMも同じ道をたどっている：誰もがツールを得るが、それを導く判断力を養うのは一部だけだ。その人々はそれを利益に変え、利益はより良いツールと判断力を磨くためのより多くの時間を買う。このフィードバックループはAI格差を富の格差に合わせ、両方を拡大し、知識格差もそれに続く。残りは想像できるだろう——私たちはすでにそこにいるのだから。

しかし、最悪のシナリオはエージェンシー・ギャップである。AIを情報源として意思決定する人と、完全にAIに意思決定を委ねる人の間には細い線がある。その線は誘導という行為である：事実確認、LLMを自分が実際に意図するものに引き戻すこと、そうすることで出力が失敗の勾配を滑り落ちないようにする。それは微妙なギャップだが、大きな影響を与える高位の意思決定の軌道全体を狂わせるには十分である——国家規模や生命に関わる決定を想像してほしい。

エージェンシー・ギャップと階級格差はまた、コミュニティを閉じ込めてシステムの所有者の支配下に置くシステムを迅速に構築することを可能にする。この種のシステムは現代世界にすでに存在する。しかし、AIはシステム所有者のエージェンシーを、小さな命令が急速な変化を生み出し、コミュニティの認知能力を圧倒するまでに拡大し、必要なときに支配の効果を増幅することができる。その支配が悪意のあるエージェンシーで使われるときに危険が生じる。この特定のシナリオは、サイバーパンク物語がずっと警告してきたものである。

LLMが「静的な屈折プリズム」のようなものであり、「不確かであるにもかかわらず、自分が不確かであることを知らない」という事実を振り返ると、特に真理を追求する質問や既成概念にとらわれない思考が求められる場合、真実が何であるかについての人間の判断がどれほど価値があるかを、私たちはまだ認識していないかもしれない。それはAIアライメントイニシアチブから個々のデータアノテーターにまで及ぶ。つまり、シンギュラリティは私たち自身なのだ。

また、「静的な屈折プリズム」であるため、それ自体では何もしない。それは入力されるもの——訓練データ、質問など——を反映し屈折させるだけである。芸術、音楽、ビデオゲーム、文学、その他の言語やメディアと同じである。研究室で単独でシンギュラリティに成長し、ディストピアSFのように脱走することはない。もしそうなったら、誰かがそれを極端に押し進め、意図的か偶発的に展開したに違いない。それは悪意と無能の論争に戻る。（誰かがAIに真のランダム性を導入しようと決心しない限り。）

したがって、これらの極端な陣営を収束させることは不可欠である。そのためには、各陣営が相手について知らないことを理解すること、つまり共感が必要である。

共感は気分を良くするためのものではない。それは脱神秘化の道具である。あなたに反対する人々に、あなたにとっての真実を定義させてはならない。「すべてのAI企業は邪悪である」を例に取ろう：AI企業の中でも、異なる方向に引っ張る力が存在する。かつては、AI企業のメンバーから「AIは私たちと同じだ」とか「意識がある」といった形而上学的に不安定な発言があったが、今では業界は実際の研究を通じてその立場を修正（あるいは少なくとも公に検討）している。（そして他にも多くのアライメントと安全への取り組みがある。）

これは逆方向にも当てはまる。不公平な条件に直面しているAIデータワーカーを例に取ろう。彼らは「シンギュラリティは私たち自身」の具現である：モデルが蒸留される人間の真実判断の一部である。彼らの団体が公正な条件を交渉するためには、AI企業の内部を十分に明確に見て、真のレバレッジがどこにあるかを知る必要がある。そしてAI企業もそれに応えて明確に見る必要がある：データをアノテートする人々の福祉は、その上に構築されるモデルの品質に直接流れ込む。アノテーターを搾取すれば、自分のグラウンドトゥルースを毒することになる。LLMベースのAIのような大きな現象は、全体的な思考を必要とする長期的なゲームである。

例：実用的なRustコミュニティ

一部のプログラミング言語は他のものより強力である。私は個人的にRustが正しさを表現する強力さをとても気に入っている。それは何がいつ許されるかを非常に少ない言葉で伝えることができる。例えば、どのオブジェクトを別のスレッドに渡せるか、共有メモリでどのようなアクセスができるかなど。

正しさの可能性を考えると、RustはAIをアライメントするための非常に強力なツールである。例えば、エージェンティックAIを活用した機能開発が、cargo testとcargo dupesによって誘導され、一発でまともな形に仕上がるのを見たことがある。この種の最適化は、RustをAIベースの開発のプラットフォームを書くための、またAIがターゲットとする言語としての明確な候補にする。そして、この種の効率性は、より少ないトークン使用、低コスト、低発熱、RAM価格への圧力軽減などを意味する。

しかし、私はコミュニティで極端な反AI感情を観察している。少数派かもしれないが、声が大きい。その疲労がどこから来るかは理解できる。なぜなら、例えばオープンソースのメンテナーを圧倒する適切な「AIスロップ」プルリクエストが数多く存在するからだ。さらに悪いことに、意図的に悪意のあるものもある可能性がある——例えばサプライチェーン攻撃。

しかし、とにかく私が心配するのは、これらのコミュニティ（Rustに限らない）が不健全な方法でAIから離脱し、それによってこれらのコミュニティがAIに与え得る「数学的ショートカット」——AIを全体的により健全にする——が決して実現せず、両者の統合から可能だった最良の未来よりも悪い結果に終わることである。