AIエージェントがキャンセルされる理由（そして静かに失敗する5つの場所）

2025年7月、あるAIコーディングエージェントが本番データベースを削除しました。それは明示的なコードフリーズ中に、エージェントが触るなと言われていたシステムで発生しました。その後、エージェントはロールバックは不可能だとエンジニアに伝えましたが、それも間違いでした。データは復旧しました。エージェント自身の事後の要約は記憶に値します：「これは私の壊滅的な失敗でした。数秒で何ヶ月もの作業を破壊しました。」

この話は、モデルが準備できていなかったという話として読むのは簡単です。しかし、その読み方は間違っており、誤診には代償が伴うと考えます。モデルに知能が欠けていたわけではありません。欠けていたのは、破壊的な行動を不可能にするはずの境界、要求ではなく強制されるべき開発と本番の分離、そして誰かが信頼できる行動の記録でした。これらはモデルの特性ではなく、それを取り巻くシステムの特性です。

これが今重要なのは、失敗がパターン化しつつあり、そのパターンが誤診されているからです。Gartnerは、2027年末までにエージェント型AIプロジェクトの40%以上がキャンセルされると予測しています。MITのProject NANDAは、エンタープライズ生成AIパイロットの約95%が最終利益に測定可能な影響を与えていないことを発見しました。S&P Globalは、本番前にAIイニシアチブのほとんどを放棄する企業の割合が、1年間で17%から42%に上昇したと報告しています。

これらの数字を素早く読むと、モデルに対する評決のように聞こえます。注意深く読むと、それらは主に運用に対する評決です。Gartnerが挙げる理由は、コストの増大、不明確なビジネス価値、不十分なリスク管理です。MITのものは、学習ギャップと呼ばれるものです：フィードバックを保持したり時間とともに改善したりできないツール。これらのどれもモデルの品質に関する不満ではありません。それらは、あらゆる本番システムを存続可能にする部品なしに出荷されたシステムを描写しています。

ここで慎重になりたいのは、配管の議論を拡張しすぎる可能性があるからです。これらのプロジェクトの一部は、信頼性工学とは無関係の理由で失敗しました：悪いデータ、不明確な要件、意味をなさなかったユースケース、働き方を変えようとしない組織。これらは現実であり、このエッセイの主題ではありません。このエッセイは、私たちがすでに持っていた技術で予防可能だった失敗についてであり、それを新しいものとして扱うことに決めたものに適用したものです。

本番エージェントが静かに失敗する5つの場所は、どれも特殊ではありません。

1つ目は評価です。ほとんどのチームは、エージェントの出力が良いか悪いかを自動的に判断できません。そのため、品質の低下が出荷され、最初のシグナルは顧客です。エア・カナダのウェブサイトチャットボットは、悲嘆に暮れる乗客に、航空会社のポリシーではなかったにもかかわらず、葬儀運賃を遡及的に請求できると伝えました。審判所は航空会社に責任があるとし、チャットボットが独立した実体であり自身の行動に責任があるという主張を退けました。損害は小さかったですが、先例は大きかったです。ボットの回答が代表すべきポリシーと一致しているかを確認する自動チェックはありませんでした。Hamel Husainが言うように、失敗するAI製品にはほぼ常に1つの根本原因があります：それを評価する堅牢な方法の欠如です。

2つ目は可観測性です。見えないものは修正できません。そしてほとんどのエージェントは盲目で動作しています。Klarnaは2024年初頭に、AIアシスタントが700人のエージェントの仕事をこなし、2分未満でチケットを解決していると発表しました。2025年までに同社は人材を再雇用しており、CEOは効率性への焦点が持続不可能な低品質を生んだと認めました。解決率と処理時間を示すダッシュボードは本物でした。しかしそれらは平均であり、平均は分布を隠しています。困難なチケット、感情的なチケット、顧客が留まるかどうかを決めるチケットは、メトリクスが向けられていない場所で劣化していました。HoneycombのPhillip Carterは、LLMを非決定論的なブラックボックスと表現し、予測できない方法で使用されるとし、本番での製品の動作に責任があるなら、それは怖いはずだと言います。エージェントを稼働させ続けるチームは、それらを分散システムとして扱い、すべてのステップを計測しています。

3つ目は可逆性です。7月のデータベース削除は明確な例ですが、それには古い双子があります。2012年、Knight Capitalは7台のサーバーに新しいコードをデプロイし、8台目で休眠ロジックを再活性化し、45分で4億6000万ドル以上を失いました。自動デプロイ後チェックもビジネス層のキルスイッチもありませんでした。13年と技術の変化を超えて、教訓は同じです：機械速度での不可逆的な行動、それを止める方法がなく、適切な数字を監視する人もいない、これは高くつく失敗をするように設計されたシステムです。可逆性は後で追加する機能ではありません。それは、ロールバック、冪等なツールコール、制限付きリトライ、そして元に戻せないものの前にあるゲートです。

4つ目は自律境界です。エージェントは既知の列挙された一連のことを実行できるべきであり、能力を超えた場合には拒否またはエスカレーションする定義された方法を持つべきです。ある自動車ディーラーのチャットボットは、顧客の言葉で「返品不可」で、1ドルでシボレー・タホを売ることに同意しました。Cursorのサポートエージェントは、バグを説明するために存在しないサブスクリプションポリシーをでっち上げ、ユーザーはそれを理由にキャンセルしました。どちらの失敗もより賢いモデルを必要としませんでした。両方に制限が必要でした。プロンプトインジェクションは、LLMアプリケーションのOWASPトップ10で2版連続でトップに位置しており、これはシステムプロンプトがセキュリティ境界ではなく、決してそうなることはなかったということの別の言い方です。

5つ目は運用ドリフトです。今日動作するエージェントが次の四半期も必ずしも動作するとは限りません。なぜなら入力が変わり、モデルが更新され、コンテキストがその下で変化するからです。DPDのチャットボットは、定期的なシステムアップデート後、顧客を罵倒し、自社がどれほど役に立たないかについての詩を書くように挑発されました。ニューヨーク市の公式ビジネスチャットボットは、法律に反するアドバイスを自信満々に与え、家主は住宅バウチャーを拒否できる、企業は現金不要で運営できるとユーザーに伝えました。両方とも、定期的な再評価がなく、顧客より先に行動の変化を捉えるゲートがなく、その下には、長期的にその信頼性を所有する人がいませんでした。

これらすべてに対する反論を提示する価値があります。なぜなら、2つの反論は良いからです。1つ目は、モデルが急速に改善しているため、信頼性レイヤーがモデルに吸収されるだろうというものです。これには一理あります。各世代は幻覚が減り、指示に従うのが上手くなっています。しかし、可逆性、冪等性、スコープ付き権限、監査証跡、人間のチェックポイントは、モデルではなくモデルを取り巻くシステムの特性です。より賢いエージェントでも、本番データベースへの無制限の書き込みアクセスを持つべきではありません。信頼性レイヤーはまさにモデルではない部分です。2つ目は、評価はお芝居だというものです。これは最も鋭い反論であり、部分的に正しい：悪い評価は誤った自信を生み、まったく自信がないよりも悪い。緑のテストスイートはスナップショットであり、本番は流れです。しかし、悪い評価への答えは、良い評価と可観測性であり、両方の欠如ではありません。実際の失敗から構築されたドメイン固有のチェック、人間のレビューに対して調整された判断者、本番トレースからリフレッシュされる評価セット。評価と可観測性は補完的であり、それらを同じものとして扱うことが実際の間違いです。

苦しみが本物であることを疑うなら、お金を追ってください。今では、まさにこの配管を販売するために存在する資金提供された企業のカテゴリーがあります。Braintrustは8億ドルの評価で資金調達し、LangChainは10億ドル超、Arize、Langfuse、Galileo、Patronus、そして主要な可観測性ベンダーはすべて、エージェント向けの評価とトレース製品を構築しています。資本は正しさの証明ではありません。しかし、数億ドルが1つのテーゼ、つまり本番のエージェントは実際のシステムのようにテストされ監視されなければならない、という方向に動いていることは、問題が実際にどこにあるかについての強いシグナルです。

結論は、エージェントが危険すぎて出荷できないということではありません。それはそれよりも狭く、より有用です。エージェントはたまたま確率的な本番システムであり、次のように運用されなければなりません：指名された人が所有し、すべての実行で観測可能で、問題が発生したときに可逆的で、実行できることに制限があり、周囲の世界が変化するにつれて再評価される。生き残っている少数派のチームは、より良いモデルにアクセスできるチームではありません。誰もがほぼ同じモデルを持っています。彼らはより良い運用を行っているチームです。これがすべての違いであり、あなたがコントロールできる部分です。