我構建了一個免費工具來評估AI Agent輸出（人工標註與LLM裁判）

Verdict 是一個開源的本地執行工具，專門用於評估 AI 功能的輸出。它能夠載入來自任何 AI 代理、聊天機器人、RAG 助手或 LLM 功能的追蹤資料，讓使用者逐一審查每個對話，並標記為“透過”或“失敗”，同時附上註釋。透過這種人工審查，使用者可以運用紮根理論進行錯誤分析，發現常見的失敗模式。Verdict 還支援構建 LLM 裁判，並透過人工標註的資料驗證其準確性，最終將可靠的裁判匯出，用於生產環境的監控。

整個工具完全在瀏覽器中執行，無需後端伺服器，無需註冊賬戶，資料不會離開使用者的電腦，除非使用者主動呼叫 LLM API。它可以作為單個網頁檔案離線使用。Verdict 的設計理念源於 Hamel Husain 的 AI 評估方法論，強調在依賴自動化指標之前，必須先人工審查資料、進行開放編碼和軸心編碼，並確保 LLM 裁判與人類評審者高度一致。

Verdict 的核心工作流程包括：檢視真實追蹤資料、人工標註透過或失敗、對失敗原因進行開放編碼（使用簡短的自由文本標籤）、將這些編碼聚類為失敗類別（軸心編碼）、為每個類別構建一個 LLM 裁判、驗證裁判與人類標註的一致性（透過混淆矩陣、TPR、TNR、Cohen's kappa 等指標），最後將經過驗證的裁判匯出並應用到生產流量中。Verdict 強調使用二分法（透過/失敗）進行標註，而不是評分制，以避免主觀分歧。

在 LLM 裁判的驗證方面，Verdict 將人類標註視為金標準，將裁判的判定與之對比，生成混淆矩陣。關鍵指標包括真正率（TPR，即召回率）、真負率（TNR）、精確率、F1 分數和 Cohen's kappa。其中 kappa 值能校正隨機一致性的影響，是最重要的單一指標。Verdict 還支援訓練-測試集劃分，防止過擬合，並在提示或模型更改時自動清除舊指標，確保資料可靠。

Verdict 還提供了豐富的功能：支援多種追蹤格式（如 OpenTelemetry、OpenInference、Langfuse 等）、自動匿名化 PII 資訊、鍵盤快捷鍵提高審查效率、以及匯出為 CSV 或 JSON 格式。此外，它內建了示例資料，方便使用者快速上手。對於產品經理而言，即使非技術人員，也可以透過示例資料在 20 分鐘內完成整個評估迴圈。

總之，Verdict 是一個強大的工具，它使 AI 評估從主觀的“感覺檢查”轉變為基於資料、可重複、可驗證的過程。透過將人類判斷與自動化相結合，Verdict 幫助團隊系統地提升 AI 功能的質量。