本文にスキップ
AI News HubLIVE
サイト内リライト7 分で読了

評価駆動開発とは?AIエージェントを改善する方法

記事の要約

評価駆動開発(EDD)は、一貫した指標セットに対してAIエージェントを構築する手法です。良好な動作を定義し、まず評価を書き、実験を比較して改善します。

評価駆動開発とは?AIエージェントを改善する方法
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ほとんどのエージェント開発は同じように始まります。プロンプトを書き、手動でいくつか質問を試し、調整してまた試す。これは初期段階ではうまく機能します。エージェントのエラーは明らかで、改善も容易に確認できるからです。しかし時間が経つにつれ、最近の変更がエージェントを良くしたのか悪くしたのかを判断するのが難しくなります。評価駆動開発(EDD)は、エージェントのパフォーマンスを測定し意思決定を導く一貫した指標セットを提供することでこれを解決します。LangChainでは、最も先進的なエージェントを構築する際にEDDを使用し、それを3つのステップにまとめました。エージェントにとって何が良いかを定義する。構築する前に評価を書く。変更を加えて比較する。このブログでは、このプロセスを段階的に説明し、チームが独自のエージェント開発プロセスに適用できるようにします。

EDDの名前と概念は、テスト駆動開発(TDD)から借用しています。TDDでは、コードを書く前に失敗するテストを書きます。エージェントは従来のコードとは異なり、非決定的です。出力は変動し、同じ質問でも実行ごとに異なる回答が得られることがあります。複数の正解があり得ます。2つの自然言語の結果が異なる表現であっても両方とも正しいと見なされる場合があります。エージェントは独自のステップを選択します。必要のないツールを呼び出したり、使用すべきツールをスキップしたりしても、正しい答えに到達することがあります。その結果、エージェントには異なる種類のテストが必要です。評価(eval)は、一連の例に対してエージェントの実行をスコアリングすることでこれに対処します。評価は従来のテストよりも柔軟です。エージェントの実行のあらゆる側面をスコアリングでき、他のLLMを使用してスコアリングすることもできます(LLM-as-a-judge)。EDDでは、TDDと同様に、これらの評価が成功の定義となり、エージェントをそれに向けて構築します。

ステップ1:エージェントにとって何が良いかを定義する。EDDの最初のステップは、エージェントが何をすべきかを定義することです。次に、そこに到達するために処理する必要がある動作をリストアップします。これらは、知識ベースからの質問への回答、ユーザーの代わりにアクションを実行する、フォローアップの質問をいつ行うべきかを知るなどのタスクです。各動作の要件を書き留めます。これらを合わせて、エージェントの製品要件ドキュメント(PRD)を構成します。EDDは一度に1つの動作に取り組みます。これにより、1つの変更が別の変更の効果を混乱させることなく、改善するための狭いターゲットが得られます。選択する動作は通常、これから構築する機能またはエージェントの過去の実行で見つかった失敗から来ます。コードを書く前に、次のことをカバーする短い仕様を定義すると役立ちます。動作がいつ発生するか、エージェントが何をすべきか、エージェントが何をすべきでないか、PRDのどの動作を維持する必要があるか。仕様は合格か不合格かをスコアリングできるほど明確である必要があります。

たとえば、従業員が会社の情報を問い合わせる内部ドキュメントエージェントがあるとします。これには2つのツールがあります。内部ドキュメント用のsearch_docsと、それ以外のすべて用のweb_searchです。ITチケットを発行できるようにcreate_ticketツールを追加する予定です。仕様は次のようになります。いつ:ユーザーが「ラップトップがVPNに接続できない」などの問題を報告したとき。すること:create_ticketを呼び出す。しないこと:「VPNへの接続方法」などのハウツー質問に対してチケットを発行する。維持すること:search_docsとweb_searchは現在処理している質問を引き続き処理する。エージェントがまだこの機能を持っていなくても、これらのガイドラインで評価します。

ステップ2:構築する前に評価を書く。データセットを構築します。データセットは、入力とオプションの参照「ゴールデン」出力を持つテストケース(「例」と呼ばれる)のコレクションです。入力の最良のソースの1つは、実際のエージェントの実行です。ユーザーは予測できない方法で物事を表現し、リクエストには自分では思いつかないエッジケースが含まれます。例が実際のトラフィックに似ていれば、評価で良いスコアを獲得することは、本番環境での良好な動作を意味する可能性が高くなります。LangSmithでは、実際のエージェントの実行を直接データセットに追加できます。まだ実行がない場合、一般的な代替手段は最初から例を構築することです。

ドキュメントエージェントの場合、開始にはいくつかの例で十分です。データセットには、チケットリクエストに加えて、search_docsとweb_searchに送信すべき質問を含めて、既存の動作が考慮されるようにします。各例は、入力質問と参照出力(エージェントが呼び出すべきツール)をペアにします。データセットを拡張して、まだカバーしていないケースを含めることもできます。たとえば、イライラしたユーザーの例が少ないとします。既存の例をLLMに渡し、より怒ったメッセージに書き換えるよう依頼し、エージェントが依然として正しいツールを呼び出すことを確認できます。

評価者を作成します。データセットができたら、PRDの「良い」の定義を、例に対するエージェントのパフォーマンスをスコアリングするテストまたは評価に変換できます。評価者を作成するときは、テストに最適なスコアリング方法を選択します。チェックが決定的な場合はコード評価を使用し、そうでない場合はLLM-as-a-judgeを使用します。エージェントの最終回答、そこに至るために取った行動、またはまったく別のものを見たいですか?ドキュメントエージェントの場合、各ケースで正しいツールを使用していることを確認するために、呼び出すツールを確認します。ツールの選択はコードで簡単に確認できるため、各例が参照出力にリストされているツールを呼び出したかどうかをチェックするコード評価を使用できます。例は、エージェントが参照出力のツールを呼び出した場合に合格します。

ドキュメントエージェントは、いくつかの特定の機能を備えたシンプルなチャットボットです。エージェントが複雑になるにつれて、評価スイートは少し異なる必要があるでしょう。エージェントが環境に変更を加える場合(サンドボックス内のコーディングエージェントなど)、いくつかのツール呼び出しと最終応答を確認するだけでは十分ではありません。エージェントがシステムに残す状態を確認する必要があり、各実行にはクリーンな環境が必要です。そうしないと、1回の実行が次の実行に影響を与える可能性があります。Harborは、このようなタスクでエージェントを実行するためのオープンソースフレームワークであり、Terminal-Benchなどの業界ベンチマークの背後にあるハーネスです。各タスクは独自のサンドボックスで実行され、最終状態を評価するテストスクリプトが付属しています。

Terminal-Benchのようなベンチマークの最適化は、EDDと同じループに従います。タスクとテストを最初に書き、ベースラインを実行し、エージェントに変更を加えるときに実験を比較します。LangSmith Engineを構築したとき、実際のエージェント実行と合成エージェント実行の両方から独自のベンチマークを作成し、Harbor評価として実行しました。また、Harborを使用してDeep Agentsをベンチマークしています。これにより、エージェントを悪化させることなく、ハーネスの一部(todoリストミドルウェアやシステムプロンプトの一部など)を削減できるかどうかがわかります。

ベースラインを実行します。データセットや評価者をどのように構築するかにかかわらず、すべての例でエージェントを実行し、結果をLangSmithの実験として記録できます。実験は、データセット上でのエージェントの1回の実行であり、各例の入力、出力、評価スコアが1つのレコードに保存されます。集中システムを持つことで、異なるエージェントバージョンの結果を相互に比較できます。エージェントに変更を加える前に、比較指標としてベースライン実験を実行することが重要です。ドキュメントエージェントの場合、ツールがまだ存在しないため、データセットのチケット例は失敗スコアになります。他の例は既に機能しているものを記録するので、後で新しいツールを追加することで他の何かが壊れるかどうかを判断できます。

ステップ3:変更を加えて比較する。次に、create_ticketツールを構築し、同じ評価を実行します。EDDは評価に向かって「ヒルクライミング」することを忘れないでください。ヒルクライミングとは、エージェントを改善するプロセス(評価、比較、調整)を繰り返し、客観的な改善の証拠を備えた明確なループを確立することを意味します。エージェントへの後続の各変更には独自の実験があり、各実験は前回の実験と比較されて進捗が検証されます。LangSmithでは、両方の実験を選択して比較ビューを開くことができます。各例のスコアが並べて表示され、どれが改善し、どれが後退したかを確認できます。

実験を比較するときは、平均スコアの変化だけでなく、回帰や動作中の動作の上書きにも注意することが重要です。ドキュメントエージェントでは、チケット例が合格するようになりました。しかし、「VPNへの接続方法」がドキュメントを検索する代わりにチケットを発行するようになりました。平均スコアは上がりましたが、1つのケースが壊れました。トレースを確認することは、評価が失敗した理由を理解する最良の方法です。トレースは、すべてのモデル呼び出しとツール呼び出しを含む、エージェントの1回の実行の記録です。LangSmithでは、任意のフレームワークで構築されたエージェントのトレースが可能です。

最新の実験の失敗したトレースを開くと、ツールの説明に「VPNとラップトップの問題」にcreate_ticketを使用するように書かれているため、VPNに言及する質問が一致することがわかります。これにより、ベースラインの良好な動作が上書きされます。トレースは、ツールの説明が広すぎるため、エージェントがドキュメントで回答できる質問に対してチケットを発行していることを示しています。解決策は、ITが行動する必要があるリクエストにツールの説明を狭めることです。この変更を実装した後、評価を再度実行します。今度はすべての例が合格します。

小さなデータセットで満点を取ることは良い兆候ですが、100%が常に正しい目標とは限りません。これらの正確な例を見ながらツールの説明を調整しました。すべての例が合格するまでエージェントを調整し続けると、気にする動作ではなくデータセットに過剰適合し始める可能性があります。評価には合格しても、例がカバーしていない表現のリクエストを逃す可能性があります。これをチェックするには、反復中に見ない保留セットの例を保持します。調整する例でスコアが上がるが、保留セットでは横ばいの場合、過剰適合している可能性があります。多段階エージェントはどのステップでも失敗する可能性があるため、LangSmithでは最終回答以上のものを評価できます。単一のステップ、ツール呼び出しの完全なシーケンス、またはスレッドにグループ化されたマルチターン会話をスコアリングできます。

出荷時にもEDDを続ける。変更の展開が速くなるにつれて、評価の実行をスキップしたり、古い例を見失ったりしやすくなります。ワークフローに自動評価を追加することで、テストされていない変更がユーザーに到達するのを防ぎ、本番前に回帰をキャッチできます。評価スイートを作成する最良の戦略は、個々の設定によって異なります。高速なコードチェックは悪いマージをブロックでき、遅いLLMジャッジによる評価は夜間またはリリース前に実行できます。データセット分割を使用して、反復中は作業中の動作の例のみを実行し、出荷前に完全なセットを実行します。LangSmithはpytestとVitestと統合されているため、評価はコードの隣に配置され、すべてのプルリクエストで実行されます。各実行は実験として記録されるため、結果を表示して改善を追跡できます。本番環境で見つかった失敗を新しいデータセットの例に継続的に変換して、評価スイートがエージェントとともに成長するようにします。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • EDDは、一貫した指標でパフォーマンスを測定しながらエージェントを構築し、評価に向かって改善を続ける。
  • 最初に、エージェントがすべきこと、すべきでないこと、維持すべき機能を短い仕様にまとめる。
  • 変更を加えるたびに実験を比較し、平均スコアの変化だけでなく個別ケースの回帰にも注意する。
  • 評価をCIと本番環境で自動実行し、見つかった失敗を新しいデータセットの例に変換する。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。