Agent评估差距：企业AI组织存在现实对齐问题而非覆盖问题——但多数仍将产品推向生产

VentureBeat Pulse Research最新报告《Agent可靠性与评估追踪》对157家拥有100名以上员工的企业进行了调研，揭示了AI Agent评估领域的核心矛盾：企业正在赋予Agent更多自主权，却对用于把关的自动化评估缺乏信任。报告指出，评估差距——自主权与信任之间的差距——正在扩大，并可能因当前的部署趋势而加剧。

一半的受访组织在过去一年中曾部署一个通过内部评估的Agent或大语言模型功能，但随后导致客户面临失败——错误的输出、中断的工作流或质量事故。四分之一的组织经历过多次此类事件。仅有36%报告没有此类失败，其余要么未进行部署前评估，要么未追踪根本原因。这一数字是整个报告的核心：评估显示Agent已就绪，但实际并非如此。

对自动化评估的信任度极低。仅5%的组织表示完全信任当前的自动化评估，95%指出了至少一项限制。最常见的问题（29%）是评估与现实结果对齐不佳，这直接解释了为什么评估通过的Agent会在实际中失败。偏见或不一致性（21%）以及缺乏可解释性（18%）紧随其后。企业无法总是理解评估为何得出某个结论，这进一步削弱了信任。

尽管信任度低，企业仍在加速走向自主部署。三分之二的组织（66%）已经允许（34%）或正在积极构建（33%）针对低风险Agent的无人工干预部署流程。仅22%明确排除这种可能性。值得注意的是，大型企业（2500人以上）在推进无人工审核方面甚至比小公司更快（70%对64%），且更可能经历过评估通过但客户失败的Agent（54%对48%）。

评估工具栈高度碎片化且由提供商主导。最常见的初级工具是模型提供商的原生评估（如OpenAI的评估和跟踪占17%，Anthropic的Claude Console占13%），但有同样比例的企业（17%）根本没有使用任何专用Agent评估工具。专业评估供应商如DeepEval（12%）、Braintrust（8%）等份额较小，11%的企业自行构建。没有一个独立平台成为行业标准。

生产环境监控存在盲点。51%的组织仅监控Agent是否正常运行（如响应状态、成本），而不检查输出内容的正确性。仅23%运行自动的实时输出质量检查。这意味着大多数企业无法在运行时发现Agent开始出错，这与部署前评估差距形成对应。

有趣的是，尽管企业正将人工从部署决策中移除，但29%计划在未来一年增加对人工审核工作流的投资，仅次于生产可观测性（34%）。这体现了企业的对冲策略：一方面建设自动化，另一方面加强人工监督。

评估市场面临洗牌。64%的企业计划在12个月内采用新的、额外的或替代的评估平台，31%计划在下季度内行动。考虑度最高的平台是Confident AI的DeepEval（20%），其次是OpenAI原生评估（13%）和Braintrust（9%）。

报告总结道，评估差距并非单纯的覆盖问题，而是评估能否反映现实并值得信赖的问题。随着自主权快速提升，企业必须在信任不足的情况下做出部署决策。未来的关键问题是：保障措施能否追上自主权的步伐，还是虚假信心导致的失败将从客户事件演变为自主部署的系统变更。

（注：本调查为一次定向信号，样本偏向中型市场，应作为趋势参考而非精确测量。）