跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Unity Catalog 与 Google Cloud 无边界 Lakehouse 推进目录互操作性

文章摘要

Databricks 与 Google Cloud 宣布目录互操作性新里程碑:客户可在 Unity Catalog 和 Google Cloud 无边界 Lakehouse 之间以零拷贝方式双向访问同一份数据,并通过 Iceberg 目录标签实现元数据层面的开放治理。

Unity Catalog 与 Google Cloud 无边界 Lakehouse 推进目录互操作性
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Databricks 与 Google Cloud 近日宣布在目录互操作性方面取得重要进展,客户现在可以从 Unity Catalog 和 Google Cloud 无边界 Lakehouse 访问同一份数据,而无需复制数据。这一合作建立在双方对开放 Lakehouse 架构的长期愿景之上,旨在让企业跨多个平台无缝使用数据和分析引擎。

Lakehouse 架构正变得越来越开放。最初以 Delta Lake 和 Iceberg 等开放表格式为起点,如今已演变为目录联合,实现跨平台的零拷贝访问。通过双方的合作和对开源社区的贡献,Databricks 和 Google Cloud 持续推动开放 Lakehouse 生态的发展。

双向目录联合是此次发布的核心。将 Google Cloud 的数据引入 Databricks 非常简单:借助 Lakehouse Federation to Google Cloud,客户可以将由 Google Cloud Lakehouse 运行时目录管理的 Iceberg 表挂载到 Unity Catalog 中,进而在 Databricks 中进行分析。这些表可以被 Databricks Lakehouse(无服务器数据仓库)查询,也可以通过 Genie 进行分析,后者能以自然语言智能回答数据问题,无需编写代码或 SQL。

互操作性同样适用于反方向。Databricks 的数据也可以被引入 Google Cloud 的 Lakehouse,使使用 BigQuery 等引擎的客户能够读取 Unity Catalog 管理的表,而无需复制数据。

下一前沿是让目录元数据可互操作。Databricks 和 Google Cloud 正通过开放目录元数据来加强互操作性。双方相信,业务和治理语义应当可访问,而不应绑定到特定供应商。在 Iceberg 社区中,他们帮助推动并落地了目录标签(catalog labels)提案,该提案允许目录通过键值对(即标签)共享元数据。这样一来,标记为 “domain=finance” 和 “status=certified” 的表,以及标记为 “pii=ssn” 的列,在从一个目录联合到另一个目录时,其标签仍会保留。

共享标签对于智能体时代的治理至关重要,因为目录元数据可用于标记敏感数据以进行掩码,并为搜索资产以回答数据问题的智能体提供上下文。通过合作,Databricks 和 Google Cloud 致力于推进开放治理的愿景。随着数据资产规模扩大以及 AI 智能体更深入地融入企业工作流,这一共同承诺变得愈发重要。双方正朝着这样一个未来迈进:治理和业务上下文可以随数据一起流动,而无需企业在每个系统中重新定义它们。

客户现在即可开始使用 Unity Catalog 与 Google Cloud 无边界 Lakehouse 之间的目录联合。相关文档已提供,客户也可以了解 Google 侧对 Unity Catalog 的目录联合。如果希望分享互操作性需求或了解更多关于互操作性愿景的信息,可联系 Databricks 客户团队。

展开要点与分析

文章情报

工程师中级

要点

  • 客户可通过 BigQuery 和 Databricks 访问同一份数据,无需数据复制。
  • 双向联合:Iceberg 表可在 Unity Catalog 中挂载,Unity Catalog 表也可在 BigQuery 等引擎中读取。
  • 双方推动 Iceberg 目录标签,使治理和业务语义随数据跨目录传递。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。