Unity Catalog 开放 API 实现更广泛的互操作性

Unity Catalog 自诞生之初便致力于构建开放的湖仓一体架构。过去，数据团队常常被困在各自的数据孤岛中，为了使用不同的工具而不得不跨平台复制数据，每次引入新平台都意味着重复的数据拷贝、重建访问策略以及繁琐的同步工作。这直接导致了存储成本上升、策略不一致以及数据访问与发现的碎片化问题。

随着 Unity Catalog 的开源以及开放 API 的推出，我们打破了这些束缚企业的枷锁。如今，企业终于可以保留一份数据副本，使用任何计算引擎，并从单一位置治理所有数据。Unity Catalog 生态系统蓬勃发展，已有数千家客户通过它来治理和访问 Delta Lake 与 Apache Iceberg 表，集成范围涵盖 Apache Spark、Trino、DuckDB 和 Confluent Tableflow 等数十种引擎。

外部访问托管表（Beta）

UC 托管表是开放性与性能的结合体。这些高级表利用预测优化和液态聚类自动调整数据布局、执行压缩与清理、保持统计信息最新，从而带来高达20倍的查询加速和50%的存储成本降低，同时通过开放 API 保持完全可访问。

现在，外部引擎（如 Apache Spark、Flink 和 DuckDB）可以在测试版中创建并写入 UC 托管 Delta 表，同时享受集中治理和自动优化。具体能力包括：

• 创建托管表：直接从外部引擎建立新的 UC 托管表。
• 批量读写：对托管表进行具有完整事务安全性的读写操作。
• 流式读写：将托管表作为流式源和接收端，在 Apache Spark 上实现端到端的实时管道。

由于所有操作都流经基于目录提交构建的 UC 托管表，因此能够获得序列化提交以防止日志损坏，并实现每次读写的完整审计。预测优化即使对由外部引擎访问的表也能无缝运行。目录提交还为多语句、多表事务等高级功能奠定了基础。

Delta Kernel——用于读写和提交 Delta 表的开源 Java 和 Rust 库——抽象了底层协议细节，使连接器开发者能够专注于 UC 集成而非 Delta 实现。Apache Spark、Delta Flink 和 DuckDB 均已利用 Delta Kernel 支持对 UC 托管表的外部写入，并与目录管理的提交集成，且生态系统持续扩大。

凭证分发实现安全的外部访问

外部引擎访问 UC 数据需要安全的认证方式，并获得对云存储的限定范围访问，而无需宽泛的静态权限或特定账户的凭据。Unity Catalog 通过凭证分发功能解决这一问题，该功能现已正式可用：UC 按需向外部引擎发放短期、限定范围的凭证，并由中心化策略强制执行访问控制。

新增的两项功能使其达到企业级生产就绪状态：外部引擎可使用机器对机器（M2M）OAuth 向 UC 进行认证，满足企业安全要求而无需依赖个人访问令牌（PAT）；凭证由引擎通过 UC 凭证分发 API 自动刷新，确保运行数小时的管道不会因令牌过期而中断。

通过凭证分发，企业可以从任何兼容的引擎或工具读取、写入和创建 Unity Catalog 中的托管表和外部表。这些凭证是短期的、限定于所请求的资源，并受 UC 权限控制，从而让平台团队完全掌控哪些主体可以外部访问数据及其操作权限。

卷的凭证分发（公开预览）

凭证分发不仅限于表，还扩展至非结构化数据。卷凭证分发现已进入公开预览阶段，外部客户端可以请求临时、限定的凭证来访问卷中存储的图像、PDF 和视频，并应用 Unity Catalog 治理。相同的访问控制模型、审计跟踪和限定凭证适用于查询表或外部处理原始视频文件。

未来展望

我们持续投资于增强外部访问能力。当前凭证分发为外部引擎提供粗粒度的访问控制，我们还开发了对外部读取实施基于属性的访问控制（ABAC）的功能，从而实现细粒度治理。这将使从外部引擎读取 UC 托管表时能够执行行级和列级 ABAC 策略。

立即开始

要开始使用凭证分发，请参阅我们的文档。要使用外部访问托管 Delta 表的 Beta 功能：

1. 在 Databricks 预览门户中注册“External Access to Unity Catalog Managed Delta Table”。
2. 在元存储上启用外部数据访问，并向包含要访问表的模式授予 EXTERNAL_USE_SCHEMA 权限。
3. 创建新的 UC 托管表（迁移现有数据请参阅迁移指南）。
4. 使用 Delta-Spark 4.2 和 Unity Catalog 0.4.1 从外部计算创建、读取和写入托管表。

欢迎参加即将于2026年6月15日至18日在旧金山 Moscone 中心举行的 Data and AI Summit 2026，了解领先组织如何使用 Unity Catalog 跨引擎治理数据和 AI。立即注册，抢先预览开放统一治理的未来。