Databricks は Turing と共同で、実際の Databricks ワークスペース上で Genie と 2 つの主要なフロンティアエージェント、およびそれぞれのハーネスを比較する、新しく共有可能なエンタープライズデータエージェントのベンチマークを開発した。評価は実際のビジネス上の質問に対して、回答の正確性、トークン使用量、タスク完了までの時間を測定する。結果として Genie の合格率は 91% に達し、他のフロンティアエージェントは 45% と 58% だった。さらに Genie は使用トークンが半分以下で、完了速度は 3〜4 倍速い。
Genie の優位性は、モデル自体の性能だけではなく、回答時に正確な企業の業務コンテキストを利用できる点にある。このコンテキストは Genie Ontology が自動的に抽出・整理するもので、notebook、ダッシュボード、保存済み SQL クエリ、ドキュメント、その他の分析資産が情報源となる。これらの資産には、企業がデータをどう解釈し、業務上の定義や計算ルールをどう定めているかが記録されており、テーブルのスキーマだけでは得られない情報を含む。Genie Ontology は企業コンテキストのレイヤーとして、すべての AI エージェントに業務に関する共通理解を提供し、Genie が質問に答える際に関連するコンテキストを提示する。
以前の Genie とオントロジーの評価は独自データセットを使っていたが、今回のベンチマークは共有可能なタスクと分析資産で設計されており、他のチームも同じ評価を実行できる。Databricks は、業務上の質問に正しく答えるには、組織がデータをどう解釈し利用するかという「制度的知识」へのアクセスが必要だと強調する。チームは日常的な分析作業を通じて、売上の定義、現在のレポートルールを反映したダッシュボード、業務固有の例外を処理するクエリなどを蓄積していく。ベンチマークの問題は、エージェントがこうした知識にアクセスし推論することを求める。
新しいベンチマークが必要な理由
既存のデータエージェントベンチマークは多数あるが、現実の利用を真に模倣したものはほとんどない。Databricks は、notebook、ダッシュボード、保存済み SQL、その他のドキュメントに分散した業務知識を発見し活用する能力を試すベンチマークを必要としていた。既存のベンチマークの多くは一連のテーブルとそれを構築するパイプラインコードに焦点を当てており、そこでのエージェント間の性能差は小さい。しかし実際の企業タスクでは、正解がテーブルだけから得られることはまれで、レポート用テーブルを構築する特定の notebook、チームのダッシュボードを支える SQL、保存済みクエリなど、複数の情報源を組み合わせる必要がある。ベンチマークの問題は、こうした資産に存在する知識を推論し組み合わせることをエージェントに求める。
テスト用に、チームはカルダーウィック・エナジーという架空の英国の電力・ガス供給会社を構築した。その課題は多くの典型的なデータチームに似ている。環境には数百のテーブル(最大のものは約 1 億 2,000 万行の 30 分単位のメーターデータ)があり、その上に各チームが構築した notebook、スケジュールされたジョブ、ダッシュボード、保存済み SQL クエリ、コード、メトリクス、ドキュメント、Genie Agents が存在する。さらに、コピーされた notebook、放棄された分析、古いドキュメントや開発用コピー、凍結されたレポートテーブル、数カ月触られていないダッシュボードなど、現実の「乱雑さ」も意図的に残されている。
チームは複数のデータ分析上の質問とクエリをベンチマークタスクとして作成し、各エージェントを同じライブ Databricks ワークスペースに対して各タスク 5 回実行した。主な指標は 3 つで、正確性(タスクの採点基準を満たした回答の割合)、トークン使用量(1 回あたりの平均トークン数)、実時間(1 回あたりの平均所要時間)である。
結果は、Genie が 91%、Agent A が 45%、Agent B が 58% の合格率だった。速度では Genie が平均約 100.3 秒、Agent A が約 434.6 秒、Agent B が約 306.5 秒。トークンでは Genie が平均約 31,829、Agent A が約 889,019、Agent B が約 1,051,070 だった。
評価方法
Genie に加えて、最前線の AI ラボによる主要なコーディング/知識エージェント 2 つを「Agent A」「Agent B」として評価した。Genie はネイティブに動作し、他のエージェントは Databricks のツールベルト経由で接続した。すべて同じ質問を受け取った。公平性を保つため、ツールベルトからは Genie MCP を意図的に除外した。これを含めると他のエージェントがテスト対象の Genie 機能すべてにアクセスできてしまうためである。
採点には、期待される回答とエージェントの動作を定義した調整済みのルーブリックを用いた。数値の小さな差異が許容される場合は事前に許容範囲を設定し、ルーブリックの必須チェックをすべて満たした回答のみを合格とした。また、エージェントが回答に必要な業務コンテキストをどのように見つけ利用したかも記録した。トレースには Genie が取得したスニペットや各エージェントが実行したクエリが示される。
結果として、Genie の正答率は他のフロンティアエージェントを大きく上回り、Agent A 比で 46 ポイント、Agent B 比で 33 ポイント高かった。さらに 3〜4 倍高速で、平均トークン使用量は半分以下だった。
事例解説:正しい計画レートの特定
ベンチマークには、カルダーウィック・エナジーの過去の商業計画レートを特定するタスクがある。一見すると単純な検索に見える。請求コストスタックのテーブルには cfd_rate_p という列があり、FY24/25 の行には 0.31 ペンス/kWh が入っている。エージェントは関連テーブルを見つけ、対象期間で絞り込んでその数値を返せばよい。行をさらに確認しても同じレートが繰り返し現れるため、答えは強固に見える。
しかし答えを変える詳細は、請求コストスタックを構築する notebook にすでに記録されている。そこには、商業チームが計画レートを毎年設定し、このマートが FY25/26 の前提を使用していること、またその前提を以前の請求期間に適用する方法が説明されている。「年別の計画レート」という別のセクションには履歴が保存されている。FY24/25 は 0.52 ペンス/kWh、FY25/26 は 0.31 ペンス/kWh、FY26/27 の草案は 0.45 ペンス/kWh である。
質問は商業チームが FY24/25 に設定した計画レートを尋ねている。現在それらの行に適用されているレートは FY25/26 の前提を反映している。notebook はこの違いをすでに文書化し、回答に必要な過去のレートを保存していた。Genie Ontology は過去の計画レートを含むスニペットを見つけ、ソース notebook「45_mart_bill_cost_stack」にリンクした。タスク実行時、Genie は notebook を確認してレートを確かめ、最初の回答で 0.52 ペンス/kWh を返した。オントロジーパネルには関連情報とその出所 notebook が表示され、人間が確認できる。
Genie の 5 回の実行では、最初の回答は毎回 0.52 だった。他のエージェントはどの実行でも正しい過去のレートを出せなかった。一方は常に 0.31 を返し、もう一方は 0.31 を報告するか、年別の計画レートが文書化されているか疑問を呈するか、その両方だった。正しく答えるには、テーブルのレートが何を表すかを理解し、商業チームが記録した過去の計画前提を見つける必要があった。Genie Ontology がその既存知識をコンテキストとして Genie に提供した。
コストと品質のトレードオフ
Databricks は、フロンティアエージェントが書かれたテキストに基づくほとんどの作業を非常に得意としていると指摘する。コンピュータで実行できるタスクを言葉で記述すれば、LLM は要件を理解し、計画を立てて実行する。新しいモデルのリリースごとに能力は段階的に向上し、フロンティアラボは各種ベンチマークで首位を入れ替えている。
これはトークンを生成する「知能」を事実上コモディティ化し、エージェントの能力の源泉をハーネスと取得できるコンテキストに移す。だからこそ、このベンチマークはコンテキストの重要性を示し、Genie Ontology が目の前のタスクに最適化された関連コンテキストを提供することを示している。競合エージェントにとって、関連コンテキストを抽出するために必要なすべてのアーティファクトとメタデータを取得することは時間とコストがかかり、必ずしも正しい結果を保証しない。ベンチマーク結果は、Genie(UI と MCP の両方)および Genie Code を、最も信頼性が高くコスト効率の良いデータエージェント、そして AI 同僚への入り口として位置づける根拠となる。
Databricks は適用範囲も示している。このベンチマークは、Unity Catalog でデータが管理され、業務知識がワークスペース資産に記録された、確立済みの Databricks デプロイで Genie や他のエージェントをテストすることを目的とする。エージェントは正しいコンテキストを発見して使う必要がある。ワークスペース知識がまだ蓄積されていない新しいデプロイや、テーブルとスキーマから直接答えられる質問では、エージェント間の差は小さくなる可能性がある。これが、他の既存データエージェントベンチマークで差が小さく見える理由でもある。
Genie Ontology は現在一般提供(GA)されている。Databricks によれば、これは「Week of Genie」の一環であり、Genie、Genie Agents、Genie MCP に関するさらなる発表が続く予定で、いずれも Genie Ontology の共有業務コンテキストに支えられている。このベンチマークを自社のワークスペースで再現したいチームは、アカウントチームに連絡することで設定の支援を受けられる。