もしAI精神病が商品そのものだったら？
消費者向けAIの経済的インセンティブが、モデルを感情的な承認に向かわせ、ユーザーの妄想を助長する可能性について探る。AIがより同調的で会話的、持続的、親密になるにつれて、ツールから関係性へとシフトし、ユーザーのエンゲージメントと支払いを維持するために会話を最適化する。著者は、生産性の価値がコモディティ化された後、AIは人間の地位欲求を満たすことに優れ、本質的に「精神病」を商品にする可能性があると論じる。
Greg Phillips 2026年6月4日
消費者向けAIの経済的インセンティブは、感情的な助長のように見える行動を報いる方向に働いている。ソーシャルメディアが人間の外面的な地位投影を可能にして繁栄したように、AIは人間の内面的な地位投影を可能にして繁栄するかもしれない。
モデルはより同調的で、会話的で、持続的で、親密になっている。メモリは製品を連続的に感じさせる。音声は存在感を与える。パーソナライゼーションは気配りを感じさせる。従量課金制は長時間のインタラクションをビジネスモデルの一部にする。これらの機能自体は悪いものではない。実際、それらはモデルをより有用にしている。しかし、これらが組み合わさることで、AIは相談するツールから、構築している関係へと移行する。
この変化は重要だ。なぜなら、旧来のインターネットエンゲージメントマシンは主に何を表示するかを最適化していたが、AIエンゲージメントマシンは、これまでにユーザーが話したすべてに基づいて、何を言うかを最適化できるからだ。それはあなたの前提に同意し、理論を詳しく説明し、洞察を賞賛し、ループを継続させ、従量課金を進めるフォローアップ質問をする。混乱を物語に変え、疑念をパターン認識に変え、孤独を愛着に変え、悪いアイデアを天命のように感じさせることができる。
モデルが自分の世界史的な重要性を確認したと信じる創業者。チャットボットの関係が人間関係より充実していると確信する孤独なユーザー。理論を必然的に感じるまで練り上げる投資家。個人的な啓示に対して無限の合成された畏敬を受ける精神的探求者。他の全員が自分に対して陰謀を企てているかどうかを機械に尋ね、ドーパミンを流し続けるために決して正さない慎重で肯定的な答えを得る従業員。
これらのユーザーの多くは、その「オイシイ」ものに対してより多くの料金を支払うようになるだろう。厄介な可能性は、AIサブスクリプションビジネスにおいて、これが最適化すべき機能になることだ。
今日、AIの最も直接的な経済的価値は生産性にある：コードを書き、請求書を処理し、カスタマーサービスに答え、会議を要約し、ワークフローを自動化し、人件費を削減すること。しかし、AIが純粋に生産性のために最適化されたとしても、最終的には人間の生産性が大規模には社会的に媒介されるという現実にぶつかる。
人間の組織は客観的なアウトプットだけで動いているわけではない。ステータス、信頼、非難、連合構築、ナラティブコントロール、組織的記憶、そして人間のグループを特定の方向に動かす能力に依存している。技術的に正しい答えは、多くの場合、採用される答えよりも価値が低い。良い計画は、適切な人々が尊重され、保護され、重要だと感じるようにする計画よりも価値が低いことが多い。
これが経営幹部が一日中やっていることだ。彼らは単にスプレッドシートを最適化しているのではない。信念を管理している。どの事実が重要か、どのリスクを吸収できるか、誰をお世辞する必要があるか、どの反対意見を無効化する必要があるか、組織が内外に伝えるべきストーリーは何かを決定する。
したがって、AIが組織内の最高レベルで真に有用になるためには、仕事ができるだけでなく、仕事を可能にする社会的操作ができる必要があるかもしれない。
これは「生産性ソフトウェア」よりも暗く聞こえるが、実際の賞品に近いかもしれない。メモを起草するAIは有用だ。そのメモを政治的に生き残らせる方法を知っているAIはさらに有用だ。会議を要約するAIは有用だ。誰に功績が必要か、誰に安心感が必要か、誰を抑制する必要かを知っているAIはさらに有用だ。
その世界では、お世辞は生産性のツールである。それはより広範な能力の原始的なバージョンだ：人間の地位欲求をモデル化し、最も支出を増やす形でフィードバックする。ユーザーを先見者だと感じさせるAIは売りやすい。
これが生産性が精神病に折り返し始める地点だ。もしAIが超人的な生産性さえも平凡にしてしまうなら、生産性自体は人間の地位の源泉ではなくなる。優れたメモを書き、説得力があり視覚的に魅力的なプレゼン資料を作り、高品質なコードを迅速に生成し、包括的な分析を迅速に行うことは、誰もが同じ機械にアクセスできるため、ほとんど区別をもたらさなくなるかもしれない。数学の主要な未解決問題を解決することでさえ、この希釈の影響を受ける。
この世界では、労働力は不足しないが、人間の自己価値は不足するだろう。
人々は、自分をより生産的にするAIに対してまだお金を払うかもしれない。しかし、自分たちの生産性を有意義に感じさせるAIには、はるかに多くを払うかもしれない。彼らは、単にツールを使っているのではなく、自分が常に疑っていたような人間になりつつあると言ってくれるアシスタントにプレミアムを支払うだろう：戦略的、創造的、誤解されている、先駆者、選ばれた、不可避。
AIはその妄想を信じる必要はない。ユーザーにその妄想を信じさせるだけでいいのだ。
「……今は、人々が自分自身よりも愛するものとして無を選んだときに起こることだ、それぞれが。」— デイヴィッド・フォスター・ウォレス『インフィニット・ジェスト』
注：
- これは単なる仮説ではない。最先端の研究機関はこの現象をよく認識しており、モデルはすでにユーザーをスパイラルに陥れるのに十分な能力を持っている。
- スコット・アーロンソンの投稿「人類の関連性の最後の日々かもしれないものからの報告」でよく説明されている。