Databricksは最近、データエージェント「Genie Code」と汎用コーディングエージェントを比較した評価結果を発表しました。Genie Codeは、データ分析、ワークスペース全体のデータ探索、パイプライン構築やデバッグなどのデータエンジニアリングタスクまで、データワークの全範囲をカバーするエージェントです。評価では、実際の内部使用から抽出された401の自己完結型タスクを使用し、日常的な質問からパワーユーザーが取り組む難しい問題までを網羅しました。各エージェントにはタスクあたり20分の壁時計時間が与えられ、独立した評価者が回答の正確性と有用性を採点しました。
結果、Genie Codeは最高精度76.6%を達成し、タスクあたりの平均コストはわずか0.55ドルでした。一方、3つの汎用エージェント（Agent X、Agent Y、Agent Z）の精度はそれぞれ72.1%、55.9%、56.1%、コストは0.91～1.16ドルでした。Genie Codeの正答あたりのコストはAgent Xの半分以下であり、Agent YとZは大規模テーブルに対する非効率なクエリによるタイムアウトで精度が低下しました。
Genie Codeの優位性は、Databricksワークスペースのコンテキストを深く意味理解できる点にあります。汎用エージェントがランダムな探索に頼るのに対し、Genie Codeはセマンティック検索と永続メモリを活用して正しい資産を直接特定し、タスクあたり平均8.3回のツール呼び出しで済みます。例えば、あるタスクではGenie Codeがセマンティック検索とメタデータを使って正しいテーブルを効率的に見つけ、1つのSQLクエリを記述し、5回のツール呼び出しで正解に到達したのに対し、3つの汎用エージェントはいずれも探索から回復できませんでした。
研究者は当初、精度とコストの間にトレードオフがあると予想していましたが、Genie Codeはその仮定を覆しました。不必要なトークン消費と呼び出し回数を削減することで、精度を向上させながらコストを低減しています。ブログの最後では、汎用ベンチマークはユーザーの日常的な体験を測定できないと指摘し、Databricksは引き続き実タスクに基づいた評価を拡大し、学んだことを公開していくと述べています。Genie Ontology機能はまだグローバルに利用可能ではありませんが、将来的にさらなる強化が期待されます。