跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Unity Catalog 与 Apache Iceberg™ 的新时代

文章摘要

Databricks 宣布 Unity Catalog 成为最全面的 Apache Iceberg 目录,Managed Iceberg、Iceberg v3 和 Foreign Iceberg 正式 GA,并通过五大能力定义开放湖仓的下一代目录标准。

Unity Catalog 与 Apache Iceberg™ 的新时代
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

开放湖仓的下一阶段将由目录(Catalog)来定义。尽管开放表格式让多个引擎能够处理同一份数据,但目录决定了这些数据能否被一致地治理、优化和共享。随着 AI 和代理式应用越来越多地依赖跨系统的受治理数据访问,企业需要一个能同时提供互操作性、高性能和企业级治理的 Iceberg 目录。Databricks 指出,Unity Catalog 正是满足这一需求的答案。

在最新发布中,Databricks 宣布了多项 Iceberg 能力的重大更新。Managed Iceberg 正式进入 GA,用户可以直接在 Unity Catalog 中创建、读取、写入、优化、治理和共享 Iceberg 表,并借助 Predictive Optimization 和 Liquid Clustering 消除手动性能调优的工作。Iceberg v3 同样进入 GA,原生支持删除向量、行跟踪和新的 VARIANT 类型,覆盖托管表、外部表和 UniForm 表。Foreign Iceberg 及其凭证分发功能也正式 GA,允许用户注册、治理并安全查询外部目录管理的 Iceberg 表。此外,外部共享至 Iceberg 客户端已 GA,外部 Iceberg 表共享处于公开预览,Iceberg 兼容的物化视图处于受限公开预览,跨引擎属性基访问控制(ABAC)进入 Beta 阶段。新的目录联邦连接器也扩展至 Google Cloud Lakehouse 和 Palantir,进一步巩固 Unity Catalog 作为单一管理窗格的地位。

Databricks 认为,评估一个开放 Iceberg 目录应关注五大核心能力。第一是开放 API 与凭证分发,确保客户可以使用 Spark、Trino、Flink、Snowflake、DuckDB 等任意引擎访问数据,而无需复制数据或授予宽泛的存储权限。第二是目录联邦,让企业能够在 Unity Catalog 中统一管理分布在 AWS Glue、Snowflake Horizon、Hive Metastore 等外部目录中的 Iceberg 表。第三是跨引擎 ABAC,管理员只需在 UC 中定义一次策略,包括列掩码、行过滤和基于标签的策略,当外部引擎通过 Iceberg REST Catalog Scan API 请求访问时,UC 在服务器端扫描规划阶段评估策略并返回过滤后的扫描计划,确保引擎只能读取授权数据。

第四是零拷贝安全共享。Databricks 通过 Delta Sharing 协议让 Iceberg 成为一等公民,既可作为源格式也可作为目标格式。现在,Databricks 客户可以将实时数据共享给任何支持 Iceberg REST Catalog API 的接收方,接收方无需手动摄取或复制即可用 Snowflake、Trino、Flink 和 Spark 等客户端查询共享数据。同时,外部 Iceberg 表共享也进入公开预览,UC 可以作为托管和外部 Iceberg 表的共享层,在保持数据原位的同时集中治理。

第五是性能与格式创新。Unity Catalog 是唯一使用 AI 优化表的目录,Predictive Optimization 能判断哪些表需要维护、运行哪些优化以及运行频率,并根据工作负载模式自适应调整数据布局,从而降低运维开销并提升所有引擎的查询性能。Iceberg v3 的支持进一步缩小了性能与互操作性之间的差距:删除向量加速更新、合并和删除操作,行跟踪支持更高效的增量处理,VARIANT 为半结构化数据提供标准表示。这些特性在 Delta 和 Iceberg 表之间无缝工作,无需重写数据。

展望未来,Databricks 正在从零重新思考 Iceberg v4 的核心元数据结构,以提升性能、可扩展性和互操作性。其目标是不断拉高性能和功能创新的上限,同时让 Iceberg 和 Delta Lake 更加接近。为此,Databricks 提议下一代 Delta 5.0 采用自适应元数据树结构。最终结果是:所有托管表在 Unity Catalog 中自动优化,通过开放 API 治理,并可供任何引擎使用,从而消除互操作性与生产级性能之间的取舍。

展开要点与分析

文章情报

工程师中级

要点

  • Unity Catalog 提供开放 API、目录联邦、跨引擎 ABAC、零拷贝共享和 AI 驱动优化五大能力
  • Managed Iceberg、Iceberg v3、Foreign Iceberg 及凭证分发功能正式 GA
  • Iceberg v4 与 Delta 5.0 将融合统一元数据结构,消除互操作性与性能之间的权衡

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。