Databricks 与 Google Cloud 近日宣布在目录互操作性方面取得重要进展,客户现在可以从 Unity Catalog 和 Google Cloud 无边界 Lakehouse 访问同一份数据,而无需复制数据。这一合作建立在双方对开放 Lakehouse 架构的长期愿景之上,旨在让企业跨多个平台无缝使用数据和分析引擎。
Lakehouse 架构正变得越来越开放。最初以 Delta Lake 和 Iceberg 等开放表格式为起点,如今已演变为目录联合,实现跨平台的零拷贝访问。通过双方的合作和对开源社区的贡献,Databricks 和 Google Cloud 持续推动开放 Lakehouse 生态的发展。
双向目录联合是此次发布的核心。将 Google Cloud 的数据引入 Databricks 非常简单:借助 Lakehouse Federation to Google Cloud,客户可以将由 Google Cloud Lakehouse 运行时目录管理的 Iceberg 表挂载到 Unity Catalog 中,进而在 Databricks 中进行分析。这些表可以被 Databricks Lakehouse(无服务器数据仓库)查询,也可以通过 Genie 进行分析,后者能以自然语言智能回答数据问题,无需编写代码或 SQL。
互操作性同样适用于反方向。Databricks 的数据也可以被引入 Google Cloud 的 Lakehouse,使使用 BigQuery 等引擎的客户能够读取 Unity Catalog 管理的表,而无需复制数据。
下一前沿是让目录元数据可互操作。Databricks 和 Google Cloud 正通过开放目录元数据来加强互操作性。双方相信,业务和治理语义应当可访问,而不应绑定到特定供应商。在 Iceberg 社区中,他们帮助推动并落地了目录标签(catalog labels)提案,该提案允许目录通过键值对(即标签)共享元数据。这样一来,标记为 “domain=finance” 和 “status=certified” 的表,以及标记为 “pii=ssn” 的列,在从一个目录联合到另一个目录时,其标签仍会保留。
共享标签对于智能体时代的治理至关重要,因为目录元数据可用于标记敏感数据以进行掩码,并为搜索资产以回答数据问题的智能体提供上下文。通过合作,Databricks 和 Google Cloud 致力于推进开放治理的愿景。随着数据资产规模扩大以及 AI 智能体更深入地融入企业工作流,这一共同承诺变得愈发重要。双方正朝着这样一个未来迈进:治理和业务上下文可以随数据一起流动,而无需企业在每个系统中重新定义它们。
客户现在即可开始使用 Unity Catalog 与 Google Cloud 无边界 Lakehouse 之间的目录联合。相关文档已提供,客户也可以了解 Google 侧对 Unity Catalog 的目录联合。如果希望分享互操作性需求或了解更多关于互操作性愿景的信息,可联系 Databricks 客户团队。