Databricks 在其博客中发布了 Genie，这是一款最先进的数据代理，专为回答关于企业数据的复杂问题而设计。Genie 能够处理结构化和非结构化数据源，包括表格、仪表板、笔记本以及工作区文件、Google Drive 和 Sharepoint 等。与传统的编码代理不同，数据代理在一个动态且不断演变的 Data Lakehouse 环境中运行，该环境包含数十万表格、笔记本、仪表板和文档的丰富语义上下文。
数据代理面临三大独特挑战。首先，数据发现的规模巨大，企业客户拥有数百万个结构化和非结构化数据源，传统的搜索方法无法有效处理。其次，确定业务知识的“真相来源”非常困难，因为业务知识往往分散在多个可能过时或矛盾的来源中。最后，数据代理缺乏可验证的测试，因为用户查询通常是开放式的，没有预定义的正确答案。
为了应对这些挑战，Genie 引入了三项关键技术创新。专门知识搜索利用现有数据资产构建丰富的语义上下文，并据此构建搜索索引，从而显著提升搜索质量。并行思维通过采样多条轨迹并汇总各轨迹的相关信息来计算最终答案，避免了没有单元测试的窘境。多 LLM 设计则针对不同子代理使用不同的 LLM，每种 LLM 都经过优化提示，以最大化准确性和成本效益。
实验结果显示，这些技术显著提升了 Genie 的性能。在内部基准测试中，与领先的编码代理相比，Genie 的准确率从 32% 提升至 90% 以上，同时成本和延迟大幅降低。例如，专门知识搜索使表格搜索性能提升了 40%，并行思维则进一步提高了答案准确率。通过多 LLM 设计和 GEPA 优化的提示，Genie 能够在不同模型间无缝切换，实现成本与准确性的最佳平衡。
尽管取得了显著进展，数据代理领域仍有许多开放的挑战需要探索。例如，如何更好地处理数据不完整的情况，以及如何进一步提升代理的自我纠正能力。Databricks 表示，这个领域的研究极具前景，将继续致力于为企业构建最先进的数据代理。