Databricks 在其部落格中釋出了 Genie，這是一款最先進的資料代理，專為回答關於企業資料的複雜問題而設計。Genie 能夠處理結構化和非結構化資料來源，包括表格、儀表板、筆記本以及工作區檔案、Google Drive 和 Sharepoint 等。與傳統的編碼代理不同，資料代理在一個動態且不斷演變的 Data Lakehouse 環境中執行，該環境包含數十萬表格、筆記本、儀表板和文件的豐富語義上下文。
資料代理面臨三大獨特挑戰。首先，資料發現的規模巨大，企業客戶擁有數百萬個結構化和非結構化資料來源，傳統的搜尋方法無法有效處理。其次，確定業務知識的“真相來源”非常困難，因為業務知識往往分散在多個可能過時或矛盾的來源中。最後，資料代理缺乏可驗證的測試，因為使用者查詢通常是開放式的，沒有預定義的正確答案。
為了應對這些挑戰，Genie 引入了三項關鍵技術創新。專門知識搜尋利用現有資料資產構建豐富的語義上下文，並據此構建搜尋索引，從而顯著提升搜尋質量。並行思維透過取樣多條軌跡並彙總各軌跡的相關資訊來計算最終答案，避免了沒有單元測試的窘境。多 LLM 設計則針對不同子代理使用不同的 LLM，每種 LLM 都經過最佳化提示，以最大化準確性和成本效益。
實驗結果顯示，這些技術顯著提升了 Genie 的效能。在內部基準測試中，與領先的編碼代理相比，Genie 的準確率從 32% 提升至 90% 以上，同時成本和延遲大幅降低。例如，專門知識搜尋使表格搜尋效能提升了 40%，並行思維則進一步提高了答案准確率。透過多 LLM 設計和 GEPA 最佳化的提示，Genie 能夠在不同模型間無縫切換，實現成本與準確性的最佳平衡。
儘管取得了顯著進展，資料代理領域仍有許多開放的挑戰需要探索。例如，如何更好地處理資料不完整的情況，以及如何進一步提升代理的自我糾正能力。Databricks 表示，這個領域的研究極具前景，將繼續致力於為企業構建最先進的資料代理。