两个AI评委给我们的智能体答案打了0.85分，但它从未打开文件

本文揭示了LLM作为评委（LLM-as-Judge）在评估智能体时的根本缺陷：评委只检查最终答案是否匹配，而不检查答案是否基于有效的证据路径。通过案例展示，智能体在未检索必要文档的情况下仍获得0.85高分，而基于轨迹的评分仅为0.000。文章提出使用确定性状态契约来评估智能体行为，并分析了三种失效模式。