AIエージェントの能力が向上するにつれて、その評価はますます困難になっています。Claude Code、Pi、Deep Agentsなどのエージェントフレームワークは、エージェントにコンピュータ全体へのアクセスを提供し、ファイルの読み取り、スクリプトの実行、コードの実行、状態の変更などを可能にします。そのため、各エージェントタスクは独立したクリーンで再現可能な環境で実行する必要があり、従来の単純なLLM評価では対応できません。
Harborは、長期実行・ステートフルなエージェント向けの新しい評価ハーネスとして登場し、業界のリーダーとしての地位を確立しています。Harborの仕組みはシンプルです。ユーザーはエージェント、タスクデータセット、サンドボックスという3つの要素を提供します。各データセットには複数のタスクが含まれ、各タスクは環境（Dockerfile/Docker Composeで定義）、命令（Markdown）、評価スクリプト（test.sh）から構成されます。従来のLLM評価と比較して、エージェント評価には2つの大きな違いがあります。まず、実行環境が非常に重要であり、タスクの一部として明示的に指定する必要がある点です。次に、エージェントの評価は最終出力だけでなく、生成されたアーティファクト（作成されたファイルや変更された状態など）をスクリプトで検査する点です。
LangChainは3つのポイントでHarborと統合され、統一された評価スタックを提供します。第一に、Deep Agentsとして構築された任意のエージェントをHarborのサンドボックス環境で直接実行できます。第二に、LangSmithサンドボックスは各タスクに独立したクリーンなマシンを提供し、水平方向にスケーリングして数百のタスクを並列実行できます。第三に、LangSmith可観測性プラットフォームはすべての評価ジョブをデータセットと実験としてキャプチャし、エージェントのトレースをフィードバックとして付与します。これにより、開発者は試験が合格したか失敗したかだけでなく、その理由を深く理解できます。
カスタムエージェントをHarborに接続するには、Harborの組み込みlanggraphエージェントを使用します。コマンドラインで--agent langgraphを指定することで、LangGraphアプリケーション（Deep Agentsを含む）を実行できます。LangGraphアプリケーションはlanggraph.jsonレジストリを使用して依存関係を宣言し、グラフ名をビルド関数にマッピングします。例えば、langgraph.jsonに依存関係を記述し、深度エージェントのグラフを構築する関数を定義します。その後、コマンドラインでモデル（例：fireworks上のglm-5p2）、データセット（例：[email protected]）、サンドボックス環境（例：LangSmithクラウド）、プラグイン（例：langsmith）を指定するだけで、評価を実行できます。
この統一スタックにより、エージェント評価の核心的な課題が解決されます。再現可能で隔離された並列実行環境を提供し、可観測性によって評価結果の解釈可能性を確保します。複雑なDeep Agentsを開発している場合でも、大規模なベンチマークを実行している場合でも、このスタックはより効率的で信頼性の高い評価を可能にします。詳細については、Harborの統合ドキュメントと実行ガイドを参照してください。