我構建了一個免費工具來評估AI Agent輸出（人工標註與LLM裁判）

Verdict 是一個開源的本地運行工具，專門用於評估 AI 功能的輸出。它能夠加載來自任何 AI 代理、聊天機器人、RAG 助手或 LLM 功能的追蹤數據，讓用户逐一審查每個對話，並標記為“通過”或“失敗”，同時附上註釋。通過這種人工審查，用户可以運用紮根理論進行錯誤分析，發現常見的失敗模式。Verdict 還支持構建 LLM 裁判，並通過人工標註的數據驗證其準確性，最終將可靠的裁判導出，用於生產環境的監控。

整個工具完全在瀏覽器中運行，無需後端服務器，無需註冊賬户，數據不會離開用户的電腦，除非用户主動調用 LLM API。它可以作為單個網頁文件離線使用。Verdict 的設計理念源於 Hamel Husain 的 AI 評估方法論，強調在依賴自動化指標之前，必須先人工審查數據、進行開放編碼和軸心編碼，並確保 LLM 裁判與人類評審者高度一致。

Verdict 的核心工作流程包括：查看真實追蹤數據、人工標註通過或失敗、對失敗原因進行開放編碼（使用簡短的自由文本標籤）、將這些編碼聚類為失敗類別（軸心編碼）、為每個類別構建一個 LLM 裁判、驗證裁判與人類標註的一致性（通過混淆矩陣、TPR、TNR、Cohen's kappa 等指標），最後將經過驗證的裁判導出並應用到生產流量中。Verdict 強調使用二分法（通過/失敗）進行標註，而不是評分制，以避免主觀分歧。

在 LLM 裁判的驗證方面，Verdict 將人類標註視為金標準，將裁判的判定與之對比，生成混淆矩陣。關鍵指標包括真正率（TPR，即召回率）、真負率（TNR）、精確率、F1 分數和 Cohen's kappa。其中 kappa 值能校正隨機一致性的影響，是最重要的單一指標。Verdict 還支持訓練-測試集劃分，防止過擬合，並在提示或模型更改時自動清除舊指標，確保數據可靠。

Verdict 還提供了豐富的功能：支持多種追蹤格式（如 OpenTelemetry、OpenInference、Langfuse 等）、自動匿名化 PII 信息、鍵盤快捷鍵提高審查效率、以及導出為 CSV 或 JSON 格式。此外，它內置了示例數據，方便用户快速上手。對於產品經理而言，即使非技術人員，也可以通過示例數據在 20 分鐘內完成整個評估循環。

總之，Verdict 是一個強大的工具，它使 AI 評估從主觀的“感覺檢查”轉變為基於數據、可重複、可驗證的過程。通過將人類判斷與自動化相結合，Verdict 幫助團隊系統地提升 AI 功能的質量。