Pluralistic：企業はなぜAIについて嘘をつくのか

新古典派経済学は合理性を前提とする。「それほど賢いのなら、なぜ金持ちでないのか」という命題の裏返しは「金持ちなのだから、きっと賢いに違いない」だ。だからこそ、権力と高給を兼ね備えたCEOが「AIがすべてを変えつつある」と言い張れば、多くの人はそれを信じてしまう。だがコーリー・ドクトロウは、この主張を裏付ける証拠は極めて乏しいと指摘する。世界的なAI熱は、「デジタル主権」という差し迫った現実の課題を、「 Sovereign AI（主権的AI）」という想像上のニーズにすり替えてしまった。もしトランプ大統領がビッグテックに命じて自国のチャットボットをすべて停止させても、何も変わらないだろう。しかしOffice 365やスマートフォン、ジョン・ディアのトラクターを止められたら、国は事実上機能しなくなる。本当のデジタル主権の問題は、AIバブルによって覆い隠されている。

Hermit Techのコンサルタント、ニキル・スレッシュ氏は、数百人の幹部とその部下に話を聞き、「AIマニアは世界の意思決定を破壊している」という論考を発表した。彼の主張の核心は、企業経営者がAIの成果について正直になることを妨げる協調問題にある。幹部たちは互いに協力して真実を認めれば職を維持できるかもしれないが、一人だけ「裏切って」正直になれば、同輩から排斥され、代わりに御都合主義的な人物が据えられる。そのため経営陣はまず「AIがビジネスを根本的に変えた（あるいは変える）」という前提を置き、そこから逆算して証拠を探している。

スレッシュ氏は数々の衝撃的な事例を紹介している。ある部門はAIエージェントを支援するためにソフトウェアを「ピボット」して作り直したが、利用者はわずか10人だった。それでも彼らは「エージェント型ワークフロー」へと再ピボットした。理由は「今はどの会社もエージェント的なことをやらなければならないから」だ。500人以上の企業では、AIの「変革力」への信仰を公言した者だけが昇進し、解雇を免れた。誠実で根拠のある異議を唱えた従業員は昇進を逃し、レイオフの標的にされた。スレッシュ氏は、上場企業が実際には起きなかったAIの成功を宣伝するのを何度も目撃したという。

成果について、スレッシュ氏はさらに率直だ。「成功した企業向けAIプロジェクトは一つも見たことがない。1年半で成功率は0%だ」。OpenAIが明日消滅しても、業務上の課題に直面するクライアントは一社もない。多くの企業はそもそもソフトウェアプロジェクトをうまく回せず、AIを加えることで失敗のパターンが増えるだけだ。社内向けチャットボットは、企業自身のプロセス文書の質に左右されるが、大抵の企業は文書化が苦手だ。顧客向けチャットボットも、問題を解決できないか、解決したように見えてその後の対応が何も進まない。スレッシュ氏が唯一「良い」と感じたのは三菱のチャットボットで、電話対応のような自然な声で故障の詳細を聞き取り、折り返しを約束してくれたが、連絡は来なかった。それでも三菱はおそらくこれを成功事例として記録しているだろう——彼が三菱車を買わないと決めたきっかけになったにもかかわらず。

従業員たちは「AIウォッシング」を強いられている。実際には何十年もと同じやり方で仕事をし、それを「Claudeがやった」ことにしてしまう。さらに虚偽にリアリティを持たせるため、チャットボット同士が互いにプロンプトを送り合い、逆順でも繰り返す循環プロセスを作り、企業内の「トークン・リーダーボード」で上位を取るためだけにAIトークンを消費する。スレッシュ氏はこの異常な経営判断の根源を、AIデモの催眠的な力にあるとみる。例えばSnowflakeには「Cortex」という高価で役に立たないAIアドオンがある。理想的な条件でも精度は92%で、少なくとも8%の確率で誤った情報を提示する。Hermit Techはデモの前に「このツールは要件を満たせない」と明言したが、それまで冷淡だった顧客は即座にCortexの購入を主張した。同社は販売を拒否し、以後Cortexのデモをやめたが、スレッシュ氏は「氷点下から赤熱するまでの180度の転換」を「深く不穏なもの」と表現している。すでに数百万ドルをAIに費やしても何の成果も得ていない幹部たちにとって、AIがほんの少しでも役に立つ様子を見せることが、購買熱をかき立てるのだ。

スレッシュ氏は、10億ドル規模の企業に勤める「Head of AI」と名乗る読者から、「自分の仕事は完全に偽りだが、組織に残る唯一の昇進経路だ」と聞いたという。同様の幹部は少なくない。彼らは必ずしも意図的に嘘をついているわけではない。多くの非技術系幹部はAIが本当に「すべてを変える」と信じている。だが、真の信者とは理屈で話し合うことはできない。エンジニアリング企業や病院のCEOが、専門家の同意なしに特定の手順を強要するのは考えにくいのに、AIについては、専門家が役に立たないと思っていても、経営者が業務への利用を強制する。ドットコム時代、経営陣は従業員のWeb利用を嫌がり、今度は経営陣がAIの利用を強要する。この逆転は、AIマニアが意思決定を蝕んでいることの何よりの証拠だ。