Databricksはブログで、Genieと呼ばれる最先端のデータエージェントを発表しました。Genieは、企業データに関する複雑な質問に答えるために設計されており、テーブル、ダッシュボード、ノートブックなどの構造化データと、ワークスペースファイル、Google Drive、Sharepointなどの非構造化データの両方を扱うことができます。従来のコーディングエージェントとは異なり、データエージェントは動的で絶えず進化するData Lakehouse環境で動作し、数十万のテーブル、ノートブック、ダッシュボード、ドキュメントにわたる豊富なセマンティックコンテキストを活用します。
データエージェントは3つの主要な課題に直面しています。まず、データ発見の規模が膨大であり、エンタープライズ顧客は数百万の構造化・非構造化データソースを持っているため、従来の検索方法では対応できません。次に、ビジネス知識の「真実の源泉」を特定することが困難で、多くの場合、古くなったり矛盾したりする複数のソースから情報を引き出す必要があります。最後に、データエージェントには検証可能なテストが存在しないため、ユーザークエリが正しく答えられているかどうかを判断するのが難しいという問題があります。
これらの課題に対処するため、Genieは3つの主要な技術革新を導入しています。専門知識検索は、既存のデータアセットを利用してリッチなセマンティックコンテキストを構築し、それに基づいて検索インデックスを作成することで、検索品質を大幅に向上させます。並列思考は、複数の異なる軌跡をサンプリングし、それらの軌跡から関連情報を集約して最終的な答えを計算することで、ユニットテストがない問題を解決します。マルチLLM設計は、異なるサブエージェントに異なるLLMを使用し、それぞれに最適化されたプロンプトを適用することで、精度とコスト効率を最大化します。
実験結果は、これらの技術がGenieのパフォーマンスを大幅に向上させることを示しています。内部ベンチマークでは、リーディングコーディングエージェントと比較して、Genieの精度は32%から90%以上に向上し、コストとレイテンシも大幅に削減されました。例えば、専門知識検索によりテーブル検索のパフォーマンスが40%向上し、並列思考によりさらに精度が改善されました。マルチLLM設計とGEPA最適化プロンプトにより、Genieは異なるモデル間をシームレスに切り替え、コストと精度の最適なバランスを実現しています。
大きな進歩が見られたものの、データエージェントの分野にはまだ多くの未解決の問題が残っています。例えば、データの不完全性への対処や、エージェントの自己修正能力のさらなる向上などが挙げられます。Databricksは、この分野の研究は非常に有望であり、エンタープライズ向けの最先端データエージェントの構築に引き続き取り組んでいくと述べています。