AWS上でAIエージェントを構築するチームは、LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCoreなど、さまざまなフレームワークを使用しています。各フレームワークはエージェントの実行を独自の方法で記録するため、メッセージ、ツール呼び出し、エージェント間のハンドオフの構造はフレームワークごとに異なります。評価ツールも同じ境界に従う傾向があり、チームは単一フレームワークのトレース形式に対してメトリクス、スコアリングロジック、結果ストレージを構築し、フレームワークを切り替えたり複数のフレームワークでエージェントを実行したりする際に再構築する必要があります。この結合により、プロンプト、モデル、ツールへの変更がエージェントを改善したかどうかという基本的な開発上の問いに答えるのが難しくなります。答えるには、エージェントのバージョン間で一貫したメトリクスと、比較対象となる過去の結果の共有記録が必要です。エージェントの品質は、単一の精度スコアでは捉えられない複数の次元にも及びます。ツール呼び出し、応答品質、責任あるAI、パフォーマンス、マルチターン会話、マルチエージェント調整、推論です。
本記事では、Universal Agent Evaluation Framework(UAEF)を紹介します。通信、医療、金融サービスの業界にわたる12の組織の顧客がUAEFを使用して、一貫したメトリクスセットでAIエージェントを評価し、リリース前にエージェントのバージョンを比較しました。UAEFはフレームワーク非依存の評価システムです。アダプターを使用して各フレームワークのトレースを共通形式に変換し、7次元にわたる36の組み込みメトリクスでそれらのトレースをスコアリングします。結果をAmazon DynamoDBとAmazon Simple Storage Service(Amazon S3)に保存し、エージェントの次のイテレーションに役立つレポートとインサイトを生成します。本記事では、UAEFの仕組み、メトリクスの選択とデータセットの準備のためのプレイブック、サポートされている各フレームワークの実行可能なノートブックを紹介します。
UAEF:エージェントフレームワークのための単一評価層
UAEFはAIエージェントのためのフレームワーク非依存の評価システムです。チームがすでに持っているエージェントを受け取り、サポートされているフレームワークとランタイム間で同じ方法でスコアリングします。UAEFは2つの入力を受け取ります。テスト対象のエージェントと、それを実行するデータセットです。データセットは各テストケースの入力を提供し、正解(各入力の期待される出力)を含めることもできます。正解はオプションであり、エージェントの応答を参照と比較するメトリクスのみが使用します。ツール呼び出しを評価するには、正解に各テストケースの期待されるツール呼び出し(エージェントが呼び出すべきツール、その順序、引数)も含める必要があります。その後はすべてUAEF内で行われます。
図1は、単一の評価が入力からレポートとインサイトに至るまでの経路を示しています。まず、アダプターがエージェントのネイティブ実行(メッセージ、ツール呼び出し、エージェント間ハンドオフ)を読み取り、単一の標準トレースに正規化するため、後続のステップはどのフレームワークが生成したエージェントでも同一になります。次に、UAEFはデータを保存する前に、トレースから個人識別情報(PII)(メールアドレス、電話番号、クレジットカード番号など)をスクリーニングします。評価エンジンは、7つの品質次元にわたる36の組み込みメトリクスから選択したものでトレースをスコアリングします。実行を永続化すると、UAEFはそれをAmazon DynamoDBとAmazon S3の実験として記録します。Amazon DynamoDBは一覧表示と比較に使用される実験ごとのメタデータを保持し、Amazon S3は完全な結果を保持します。実行が保存されると、チームはエージェントのバージョンをベースラインと比較してリグレッションを検出し、何が変更され、なぜ変更されたかを説明するレポートとインサイトを生成できます。これらのレポートがループを閉じます。チームはエージェントを評価し、何がリグレッションまたは改善したかを学び、プロンプト、モデル、ツールを変更し、再び評価します。
図1:UAEFの閉ループ評価データフロー
このセクションの残りは、そのフローに沿って順に説明します。UAEFをフレームワーク非依存にするアダプター、評価エンジンとそのメトリクス、PII検出、実験の保存と比較、そしてループを閉じるレポートです。
標準トレースとアダプター
アダプターはUAEFをフレームワーク非依存にするものです。アダプターはエージェントの実行記録(メッセージ、ツール呼び出し、エージェント間ハンドオフを含む)を読み取ります。その記録をAgentTraceと呼ばれる単一の標準表現に変換し、これがUAEFの残りの部分がスコアリングする唯一の対象です。この変換により、UAEFはエージェントがどのSDKで構築されていても(LangGraph、LangChain、Strands Agentsなど)機能します。ローカル、HTTPエンドポイントの背後、またはAmazon Bedrock AgentCoreなどのマネージドランタイム上で実行でき、トレースはLangfuseにあっても、まったくキャプチャされなくてもかまいません。UAEFはこれらのそれぞれにアダプターを提供し、同じAgentTraceを生成するため、メトリクス、スコア、比較はすべてのケースで一貫しています。
トレースは2つの方法でUAEFに到達します。過去の実行、ログ、可観測性ストアからの既存のトレースがある場合、それはUAEFに渡され、一致するアダプターが正規化します。存在しない場合、UAEFがエージェントを呼び出します。ランタイムAmazon Resource Name(ARN)またはHTTPエンドポイントを指定すると、各データセット入力でエージェントを呼び出し、応答を収集し、1ステップで適応します。どちらの場合も出力は同じAgentTraceです。
すべてのメトリクス、モード、レポートがフレームワーク固有の形式ではなくAgentTraceで動作するため、後続のスコアリングはトレースの出所に関係なく同一です。正規化を先に、スコアリングを後にというこの分離により、チームはあるフレームワークで構築されたエージェントを別のフレームワークで構築されたエージェントと単一のスケールで比較できます。
評価エンジン
評価エンジンは、7つの品質次元にわたって標準トレースをスコアリングします。各次元は、単一の精度数値では隠れてしまうエージェント行動の異なる側面を捉えます。ツール呼び出しは、エージェントが正しいツールを選択し、妥当な順序で呼び出し、有効な引数を渡したかどうかを測定します。応答品質は、最終回答が関連性があり、完全で、正確で、幻覚ではなく提供されたコンテキストに基づいているかどうかを測定します。
責任あるAIは、安全性、バイアス、毒性、プロンプトインジェクションへの耐性を測定します。パフォーマンスは、レイテンシ、トークン使用量、スループットにおける運用コストを測定します。マルチターンは、コンテキスト保持、一貫性、ターンをまたぐ目標達成など、エージェントが会話を維持する能力を測定します。マルチエージェントは、協調するエージェントのシステムにおける調整(タスク委任や作業分担など)を測定します。推論は、エージェントの思考連鎖の内部ロジック(一貫性や誤謬のなさなど)を測定します。
各次元は36の組み込みメトリクスの1つ以上で計算され、各メトリクスは[0,1]区間の正規化スコアを返します(1が最良)。そのため、次元と全体結果は単一のスケールを共有します。メトリクスは2つのファミリーに分かれます。決定論的メトリクスはトレースと正解から直接スコアを計算し、繰り返し実行で正確に再現します。LLM-as-a-judgeメトリクスは、応答の関連性や安全性など、閉形式で定義するのが難しい品質を、Amazon Bedrock上のジャッジモデルにプロンプトを送ってスコアリングします。カスタムメトリクスを追加したり、RAGASやDeepEvalの統合を利用したりすることもできます。
ジャッジメトリクスはエージェント自身の出力をプロンプトにフィードバックするため、そのコンテンツは信頼できない入力として扱われます。ジャッジに影響を与えられるエージェントは自身のスコアに影響を与えられるからです。ルーブリックはコンテンツとは別に送信され、コンテンツはエスケープされて区切り文字を突破して指示として読み取られることを防ぎます。各ジャッジ応答は厳密に解析され、スコアリングしたコンテンツの逐語的なスパンを引用する必要があります。証拠が見つからないスコアは記録されずに拒否されます。ジャッジスコアは評価シグナルであり、安全決定ではなく、セキュリティ制御のゲートにすべきではありません。エージェント自体のランタイム強制には、独自の呼び出しパスでAmazon Bedrock Guardrailsを適用してください。完全なモデルはSECURITY.mdにあります。
実験管理と比較
UAEFは各評価を実験として記録するため、異なるエージェントバージョンの結果を後で比較できます。persist=Trueを指定してevaluate()またはbatch_evaluate()を呼び出すと、オプションの名前と目的で識別される新しい実験が作成され、補完的な役割を持つ2つのストアに書き込まれます。Amazon DynamoDBは、一覧表示と比較に使用されるメタデータ(評価回数、メトリクスごとの平均スコア、全体平均)を含む実験ごとの1行を保持します。Amazon S3は、メトリクスごとのスコアとジャッジの推論を含む完全な評価結果のJSONファイルを保持します。機密データを扱うチームは、保存コピーのPIIマスキングを有効にできます。
Pythonライブラリはより細かい構造もモデル化します。実験には実行が含まれ、各実行はテスト対象のエージェント設計(フレームワーク、モデル、ツール、システムプロンプト、パラメータ)を記録します。実行は構成スナップショットとGitコミットも記録できます。実行をその実験のベースラインとしてマークできます。これにより、各スコアがそれを生み出した変更(新しいプロンプト、異なるモデル、追加されたツールなど)に結び付けられます。
比較は保存されたメトリクスごとの平均で機能します。2つの実行が共通して持つ各メトリクスについて、比較エンジンは絶対変化とパーセント変化を計算します。次に、構成可能な閾値(デフォルト5%)を使用して、メトリクスをリグレッション、改善、または変化なしに分類します。複数の実行を1回の呼び出しで単一のベースラインと比較できます。リグレッション検出器は各リグレッションに重大度も割り当てます。軽微(5~10%)、中程度(10~20%)、重大(20%超)です。リグレッションを次元ごとにグループ化し、たとえばプロンプト変更がツール呼び出しに影響したが応答品質には影響しなかったかどうかを示します。
Web UIでは、Compareタブに保存された実験が一覧表示され、フレームワークまたはデータセットでフィルタリングできます。2つ以上の実験を選択します。最初のものがベースラインとして使用され、UIはメトリクスごとのスコアをリグレッションと改善を強調して表示します。UIは同じライブラリ比較エンジンを呼び出すため、結果はPython APIが返すものと一致します。
レポートとインサイトの生成
評価が保存された後、UAEFは3つのレベルでレポートします。各レベルは異なる問いに答えます。この実行はどのようにパフォーマンスしたか?なぜそのスコアになったのか?以前のバージョンとどう比較されるか?
結果ビュー。評価が完了すると、Web UIは実験の概要(全体スコア、評価されたテストケース数、フレームワーク、実行に失敗したクエリ)を表示します。メトリクスごとの平均が次元レーダーチャートとメトリクス棒グラフとともに表示されます。テーブルには各テストケースのクエリ、エージェントの応答、期待される回答、スコアが一覧表示されます。行を展開すると、完全な応答とその次元およびメトリクススコアが表示されます。マルチターン会話の場合、各ターンとそのスコア、エージェントが呼び出したツールが表示されます。
詳細レポート。結果ビューまたは実験リストから、オンデマンドで統計レポートを生成できます。UAEFはAmazon S3から保存された結果を読み込み、新しいブラウザタブでレポートを開きます。レポートは結果を次元別およびメトリクス別に分類します。各メトリクスの信頼区間と外れ値、スコア分布、メトリクス間の相関、責任あるAIの概要、失敗を報告したテストケースを示します。最後に、最もスコアの低い次元とテストケース間で最も変動するメトリクスを指摘する推奨事項で締めくくります。レポートはスコアのみから計算され、LLMを使用しないため、同じ結果は同じレポートを生成します。
LLM生成のインサイト。Pythonライブラリでは、レポートをAmazon Bedrock上のモデルに渡して分析できます。単一実行の場合、分析は強み、重大な弱点、根本原因に関する仮説、優先順位付けされた推奨事項をカバーします。複数実行の比較の場合、全体的な傾向、リグレッションと改善の考えられる原因、各リグレッションが持つリスク、次のステップをカバーします。これらのインサイトは、次のイテレーション前にプロンプト、モデル、ツールの何を変更するかを示唆します。