本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

ルーブリックの導入:自己評価と修正が可能なエージェントの構築

記事の要約

Deep Agents の RubricMiddleware は、エージェントの実行に自己評価ループを追加し、定義されたルーブリックに従って反復的に出力を修正します。テスト合格など明確な成功基準があるタスクに最適です。

ルーブリックの導入:自己評価と修正が可能なエージェントの構築
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

Deep Agents は、エージェントが自身の作業を評価し修正できるようにするミドルウェア「RubricMiddleware」を発表しました。このツールは、複雑なタスクをこなすエージェントが最初の試行で完璧に達しないことが多いという問題を解決します。

RubricMiddleware は、メインエージェントの実行後、別の評価用サブエージェントがルーブリックに従って出力をレビューします。ルーブリックは改行区切りのチェックリストで、例えば「すべてのテストに合格」「関数名が正しい」などの条件を指定します。評価サブエージェントは各条件を満たしているか判断し、満たしていない場合は具体的なフィードバックを生成してメインエージェントに戻します。このループは、すべての条件が満たされるか、設定された最大反復回数に達するまで続きます。

使用方法はシンプルです。まず、モデルやシステムプロンプト、ツール、最大反復回数を指定して RubricMiddleware を定義します。次に、このミドルウェアをメインエージェントにアタッチします。最後に、呼び出し時に人間のメッセージとルーブリックを渡します。例えばコード生成タスクでは、エージェントの初回出力が一部のテストに失敗した場合、評価サブエージェントが「test_unhashable が失敗:リスト内のハッシュ化不可能な型でエラー」というフィードバックを返し、エージェントはそれを修正して再実行し、最終的にすべてのテストに合格します。

この仕組みにより、開発者は出力を手動で検査して再実行する必要がなくなり、エージェントの信頼性が向上します。評価サブエージェントはツールを呼び出して証拠を収集することもでき、ツールが提供されていない場合はトランスクリプトから推論します。

Claude Code や Codex の /goal 機能に似ていますが、RubricMiddleware の実装はより柔軟で、評価を専任のサブエージェントが行います。各基準ごとに個別の判定が出るため、エージェントは何を修正すべきか正確に把握できます。

RubricMiddleware はベータ版であり、API は変更される可能性があります。構成、可観測性、ルーブリックの永続化に関する詳細なチュートリアルについては、ドキュメントを参照してください。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • RubricMiddleware はエージェントがルーブリックに基づき自己評価・修正できるようにする。
  • 専用の評価サブエージェントを使用し、各基準ごとにフィードバックを提供。
  • 最大反復回数を設定可能で、無限ループを防止。
  • コード生成やレポート作成など正確性が求められるタスクに有効。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

ルーブリックの導入:自己評価と修正が可能なエージェントの構築 | AI News Hub