我构建了一个免费工具来评估AI Agent输出（人工标注与LLM裁判）

Verdict 是一个开源的本地运行工具，专门用于评估 AI 功能的输出。它能够加载来自任何 AI 代理、聊天机器人、RAG 助手或 LLM 功能的追踪数据，让用户逐一审查每个对话，并标记为“通过”或“失败”，同时附上注释。通过这种人工审查，用户可以运用扎根理论进行错误分析，发现常见的失败模式。Verdict 还支持构建 LLM 裁判，并通过人工标注的数据验证其准确性，最终将可靠的裁判导出，用于生产环境的监控。

整个工具完全在浏览器中运行，无需后端服务器，无需注册账户，数据不会离开用户的电脑，除非用户主动调用 LLM API。它可以作为单个网页文件离线使用。Verdict 的设计理念源于 Hamel Husain 的 AI 评估方法论，强调在依赖自动化指标之前，必须先人工审查数据、进行开放编码和轴心编码，并确保 LLM 裁判与人类评审者高度一致。

Verdict 的核心工作流程包括：查看真实追踪数据、人工标注通过或失败、对失败原因进行开放编码（使用简短的自由文本标签）、将这些编码聚类为失败类别（轴心编码）、为每个类别构建一个 LLM 裁判、验证裁判与人类标注的一致性（通过混淆矩阵、TPR、TNR、Cohen's kappa 等指标），最后将经过验证的裁判导出并应用到生产流量中。Verdict 强调使用二分法（通过/失败）进行标注，而不是评分制，以避免主观分歧。

在 LLM 裁判的验证方面，Verdict 将人类标注视为金标准，将裁判的判定与之对比，生成混淆矩阵。关键指标包括真正率（TPR，即召回率）、真负率（TNR）、精确率、F1 分数和 Cohen's kappa。其中 kappa 值能校正随机一致性的影响，是最重要的单一指标。Verdict 还支持训练-测试集划分，防止过拟合，并在提示或模型更改时自动清除旧指标，确保数据可靠。

Verdict 还提供了丰富的功能：支持多种追踪格式（如 OpenTelemetry、OpenInference、Langfuse 等）、自动匿名化 PII 信息、键盘快捷键提高审查效率、以及导出为 CSV 或 JSON 格式。此外，它内置了示例数据，方便用户快速上手。对于产品经理而言，即使非技术人员，也可以通过示例数据在 20 分钟内完成整个评估循环。

总之，Verdict 是一个强大的工具，它使 AI 评估从主观的“感觉检查”转变为基于数据、可重复、可验证的过程。通过将人类判断与自动化相结合，Verdict 帮助团队系统地提升 AI 功能的质量。