Artificial Analysis は、法律テクノロジー企業 Harvey が開発した Legal Agent Benchmark (LAB) の最新結果を発表しました。このベンチマークは、AIエージェントが実際の法律業務をどの程度遂行できるかを測定するもので、24の法律実務分野にわたる120の非公開タスクで構成されています。各タスクでは、エージェントはサンドボックス内でケース文書を読み取り、メモ、開示スケジュール、証言要約などの法的成果物を生成します。成果物は単一のLLM判定者によってタスク固有の評価基準に従って項目ごとに採点され、表面的な流暢さではなく、仕事の実質的な要件を満たしているかどうかが評価されます。
今回の評価では、Claude Fable 5（Adaptive Reasoning、Max Effort、必要に応じて Opus 4.8 にフォールバック）が14.2%の全パス率で首位を獲得しました。全パス率とは、すべての評価基準を満たしたタスクの割合であり、部分点は与えられません。GLM-5.2 (max) と Claude Opus 4.8（いずれも Adaptive Reasoning、Max Effort）はともに7.5%の全パス率で2位タイとなりました。また、報告書には基準パス率、タスクあたりのコスト、出力トークン数、処理時間、平均ターン数などの追加指標も含まれています。
Artificial Analysis は、すべての評価を独立して実施し、自社の Stirrup エージェントフレームワークを使用してタスクを実行したと述べています。ベンチマークのデータセットと実装は GitHub で公開されており、コミュニティによる再現と検証が可能です。Harvey LAB-AA に加えて、Artificial Analysis は AI 能力総合指数、オープン性指数、エージェント知識業務ベンチマークなど、さまざまな評価を提供しており、AIモデルの多角的な評価を可能にしています。これらのベンチマークは、数学、科学、コーディング、推論など多岐にわたる分野をカバーしており、ユーザーがさまざまなモデルの長所と短所を包括的に理解するのに役立ちます。