Agent評估差距：企業AI組織存在現實對齊問題而非覆蓋問題——但多數仍將產品推向生產

VentureBeat Pulse Research最新報告《Agent可靠性與評估追蹤》對157家擁有100名以上員工的企業進行了調研，揭示了AI Agent評估領域的核心矛盾：企業正在賦予Agent更多自主權，卻對用於把關的自動化評估缺乏信任。報告指出，評估差距——自主權與信任之間的差距——正在擴大，並可能因當前的部署趨勢而加劇。

一半的受訪組織在過去一年中曾部署一個通過內部評估的Agent或大語言模型功能，但隨後導致客户面臨失敗——錯誤的輸出、中斷的工作流或質量事故。四分之一的組織經歷過多次此類事件。僅有36%報告沒有此類失敗，其餘要麼未進行部署前評估，要麼未追蹤根本原因。這一數字是整個報告的核心：評估顯示Agent已就緒，但實際並非如此。

對自動化評估的信任度極低。僅5%的組織表示完全信任當前的自動化評估，95%指出了至少一項限制。最常見的問題（29%）是評估與現實結果對齊不佳，這直接解釋了為什麼評估通過的Agent會在實際中失敗。偏見或不一致性（21%）以及缺乏可解釋性（18%）緊隨其後。企業無法總是理解評估為何得出某個結論，這進一步削弱了信任。

儘管信任度低，企業仍在加速走向自主部署。三分之二的組織（66%）已經允許（34%）或正在積極構建（33%）針對低風險Agent的無人工干預部署流程。僅22%明確排除這種可能性。值得注意的是，大型企業（2500人以上）在推進無人工審核方面甚至比小公司更快（70%對64%），且更可能經歷過評估通過但客户失敗的Agent（54%對48%）。

評估工具棧高度碎片化且由提供商主導。最常見的初級工具是模型提供商的原生評估（如OpenAI的評估和跟蹤佔17%，Anthropic的Claude Console佔13%），但有同樣比例的企業（17%）根本沒有使用任何專用Agent評估工具。專業評估供應商如DeepEval（12%）、Braintrust（8%）等份額較小，11%的企業自行構建。沒有一個獨立平台成為行業標準。

生產環境監控存在盲點。51%的組織僅監控Agent是否正常運行（如響應狀態、成本），而不檢查輸出內容的正確性。僅23%運行自動的實時輸出質量檢查。這意味着大多數企業無法在運行時發現Agent開始出錯，這與部署前評估差距形成對應。

有趣的是，儘管企業正將人工從部署決策中移除，但29%計劃在未來一年增加對人工審核工作流的投資，僅次於生產可觀測性（34%）。這體現了企業的對沖策略：一方面建設自動化，另一方面加強人工監督。

評估市場面臨洗牌。64%的企業計劃在12個月內採用新的、額外的或替代的評估平台，31%計劃在下季度內行動。考慮度最高的平台是Confident AI的DeepEval（20%），其次是OpenAI原生評估（13%）和Braintrust（9%）。

報告總結道，評估差距並非單純的覆蓋問題，而是評估能否反映現實並值得信賴的問題。隨着自主權快速提升，企業必須在信任不足的情況下做出部署決策。未來的關鍵問題是：保障措施能否追上自主權的步伐，還是虛假信心導致的失敗將從客户事件演變為自主部署的系統變更。

（注：本調查為一次定向信號，樣本偏向中型市場，應作為趨勢參考而非精確測量。）