Databricks 在其博客中發佈了 Genie，這是一款最先進的數據代理，專為回答關於企業數據的複雜問題而設計。Genie 能夠處理結構化和非結構化數據源，包括表格、儀表板、筆記本以及工作區文件、Google Drive 和 Sharepoint 等。與傳統的編碼代理不同，數據代理在一個動態且不斷演變的 Data Lakehouse 環境中運行，該環境包含數十萬表格、筆記本、儀表板和文檔的豐富語義上下文。
數據代理面臨三大獨特挑戰。首先，數據發現的規模巨大，企業客户擁有數百萬個結構化和非結構化數據源，傳統的搜索方法無法有效處理。其次，確定業務知識的“真相來源”非常困難，因為業務知識往往分散在多個可能過時或矛盾的來源中。最後，數據代理缺乏可驗證的測試，因為用户查詢通常是開放式的，沒有預定義的正確答案。
為了應對這些挑戰，Genie 引入了三項關鍵技術創新。專門知識搜索利用現有數據資產構建豐富的語義上下文，並據此構建搜索索引，從而顯著提升搜索質量。並行思維通過採樣多條軌跡並彙總各軌跡的相關信息來計算最終答案，避免了沒有單元測試的窘境。多 LLM 設計則針對不同子代理使用不同的 LLM，每種 LLM 都經過優化提示，以最大化準確性和成本效益。
實驗結果顯示，這些技術顯著提升了 Genie 的性能。在內部基準測試中，與領先的編碼代理相比，Genie 的準確率從 32% 提升至 90% 以上，同時成本和延遲大幅降低。例如，專門知識搜索使表格搜索性能提升了 40%，並行思維則進一步提高了答案准確率。通過多 LLM 設計和 GEPA 優化的提示，Genie 能夠在不同模型間無縫切換，實現成本與準確性的最佳平衡。
儘管取得了顯著進展，數據代理領域仍有許多開放的挑戰需要探索。例如，如何更好地處理數據不完整的情況，以及如何進一步提升代理的自我糾正能力。Databricks 表示，這個領域的研究極具前景，將繼續致力於為企業構建最先進的數據代理。