エージェント評価ギャップ：エンタープライズAI組織はカバレッジ問題ではなく現実との整合性問題を抱えている——それでも大半が本番展開を進める

VentureBeat Pulse Researchの最新レポート「エージェント信頼性と評価トラッカー」は、100人以上の従業員を持つ157の組織を対象に、AIエージェントの評価における根本的な矛盾を明らかにしました。組織はエージェントにより多くの自律性を委ねていますが、その自律性を管理するための自動評価への信頼は低く、結果として「評価ギャップ」が生じています。

調査対象の半数（50％）は、過去1年間に内部評価を通過したエージェントまたはLLM機能を本番展開したものの、顧客に障害を引き起こした経験があります。4分の1はこれを複数回経験しています。評価を通過したからといって、実際に機能するエージェントとは限らないという現実が浮き彫りになりました。

自動評価への信頼は極めて低く、完全に信頼する組織はわずか5％です。95％が何らかの制約を挙げ、最も多いのは評価が現実世界の結果と整合しないこと（29％）です。偏りや一貫性の欠如（21％）、説明可能性の不足（18％）が続きます。

それにもかかわらず、組織は自律性を高める方向に進んでいます。66％の組織は、低リスクエージェントに対して人間の介入なしの本番展開をすでに許可している（34％）、または1年以内にパイプラインを整備中（33％）です。大企業（従業員2500人以上）は中小企業よりも無人の本番展開を進めており（70％対64％）、評価通過後に顧客で失敗したエージェントを出荷した割合も高い（54％対48％）。

評価ツールの状況は断片的で、プロバイダー固有のツールが主流です。OpenAIのネイティブ評価（17％）とAnthropicのClaude Console（13％）がリードする一方、専用ツールを一切使用していない組織も17％に上ります。DeepEval（12％）、Braintrust（8％）などの専門ベンダーのシェアは低く、11％が自社開発しています。

本番環境の監視には盲点があります。51％の組織はエージェントが機能しているか（応答、コスト、エラー）のみを監視し、出力の正確性を監視しているのは23％に過ぎません。つまり、約4分の3の組織は、本番環境でエージェントの回答が正しいかどうかをリアルタイムで評価できていません。

投資の優先順位も矛盾を示しています。今後最も増加する投資として、本番環境の可観測性（34％）に次いで、人的レビューワークフロー（26％）が挙げられました。自動評価パイプライン（16％）への投資を上回っており、企業は自動化を進めながらも、人間の監視を強化しようとしていることがわかります。

評価ツール市場は大きな変革期にあります。64％の組織が12ヶ月以内に新たな評価プラットフォームの採用または切り替えを計画しており、31％は四半期内に実行する予定です。最も検討されているのはConfident AIのDeepEval（20％）で、OpenAIのネイティブ評価（13％）、Braintrust（9％）が続きます。

レポートは、評価ギャップは単なるカバレッジの問題ではなく、評価が現実を反映し信頼できるかどうかの問題であると結論付けています。自律性が保証を上回るペースで上昇する中、企業は不確実な評価に基づいて判断を下しています。今後の重要な問いは、保証が自律性に追いつくのか、それとも偽りの自信に基づく失敗が、顧客インシデントから自律的にデプロイされる変更へと拡大するのか、ということです。

（注：本調査は方向性を示すものであり、正確な測定ではなく、中堅市場に偏ったサンプルであることに留意すべきです。）