AIエージェントの出力を評価する無料ツールを構築しました（人間のラベルとLLM審査員）

Verdict は、AI 機能の評価のためのオープンソースのローカルツールです。AI エージェント、チャットボット、RAG アシスタント、または LLM 機能からのトレースを読み込み、各会話をレビューして「合格」または「不合格」とコメント付きでマークできます。人間によるレビューを通じて、グラウンデッド・セオリーに基づくエラー分析を行い、障害のパターンを発見します。さらに、LLM を審査員として構築し、人間のラベルと照らし合わせて検証し、信頼できる審査員を本番環境での品質監視にエクスポートできます。

このツールは完全にブラウザ上で動作し、バックエンドやアカウントは不要で、データはユーザーのマシンから外部に出ません（LLM API を呼び出す場合を除く）。単一の Web ページとしてオフラインでも使用可能です。Verdict は Hamel Husain の AI 評価方法論に強く影響を受けており、自動化された指標を信頼する前に、人間がデータを確認し、オープンコーディングと軸足コーディングを行い、LLM 審査員が人間のレビュアーと一致することを確認することを重視しています。

Verdict の主要なワークフローは次のとおりです。実際のトレースを確認する、各会話を合格/不合格でラベル付けする、失敗理由に自由テキストコードを付ける（オープンコーディング）、コードを障害カテゴリにクラスタリングする（軸足コーディング）、各カテゴリに LLM 審査員を構築する、審査員が人間と一致するかを検証する（混同行列、TPR、TNR、Cohen の κ 係数など）、信頼できる審査員をエクスポートして本番トラフィックに適用する。Verdict は二値（合格/不合格）のラベリングを推奨し、数値スコアよりも明確な判断を促します。

LLM 審査員の検証では、人間のラベルを正解データとみなし、審査員の判定と比較して混同行列を生成します。主要な指標には、TPR（再現率）、TNR（特異度）、精度、F1 スコア、Cohen の κ 係数が含まれます。κ 値は偶然の一致を補正するため、最も重要な指標です。Verdict は訓練データとテストデータを分割し、過学習を防ぎます。プロンプトやモデルを変更するとメトリクスは自動的にクリアされ、古い数値に惑わされることがありません。

Verdict は、OpenTelemetry、OpenInference、Langfuse など多様なトレース形式をサポートし、PII の匿名化機能、キーボードショートカット、CSV/JSON へのエクスポート機能を備えています。サンプルデータもバンドルされており、すぐに試すことができます。プロダクトマネージャーでも 20 分程度で評価ループを体験できます。

要するに、Verdict は AI 評価を主観的な「雰囲気チェック」から、データ駆動型で再現可能かつ検証可能なプロセスに変える強力なツールです。人間の判断と自動化を組み合わせることで、チームが AI 機能の品質を体系的に向上させるのを支援します。