Unity Catalog 開放 API 實現更廣泛的互操作性

Unity Catalog 自誕生之初便致力於構建開放的湖倉一體架構。過去，資料團隊常常被困在各自的資料孤島中，為了使用不同的工具而不得不跨平臺複製資料，每次引入新平臺都意味著重複的資料複製、重建訪問策略以及繁瑣的同步工作。這直接導致了儲存成本上升、策略不一致以及資料訪問與發現的碎片化問題。

隨著 Unity Catalog 的開源以及開放 API 的推出，我們打破了這些束縛企業的枷鎖。如今，企業終於可以保留一份資料副本，使用任何計算引擎，並從單一位置治理所有資料。Unity Catalog 生態系統蓬勃發展，已有數千家客戶透過它來治理和訪問 Delta Lake 與 Apache Iceberg 表，整合範圍涵蓋 Apache Spark、Trino、DuckDB 和 Confluent Tableflow 等數十種引擎。

外部訪問託管表（Beta）

UC 託管表是開放性與效能的結合體。這些高階表利用預測最佳化和液態聚類自動調整資料佈局、執行壓縮與清理、保持統計資訊最新，從而帶來高達20倍的查詢加速和50%的儲存成本降低，同時透過開放 API 保持完全可訪問。

現在，外部引擎（如 Apache Spark、Flink 和 DuckDB）可以在測試版中建立並寫入 UC 託管 Delta 表，同時享受集中治理和自動最佳化。具體能力包括：

• 建立託管表：直接從外部引擎建立新的 UC 託管表。
• 批次讀寫：對託管表進行具有完整事務安全性的讀寫操作。
• 流式讀寫：將託管表作為流式源和接收端，在 Apache Spark 上實現端到端的即時管道。

由於所有操作都流經基於目錄提交構建的 UC 託管表，因此能夠獲得序列化提交以防止日誌損壞，並實現每次讀寫的完整審計。預測最佳化即使對由外部引擎訪問的表也能無縫執行。目錄提交還為多語句、多表事務等高階功能奠定了基礎。

Delta Kernel——用於讀寫和提交 Delta 表的開源 Java 和 Rust 庫——抽象了底層協議細節，使聯結器開發者能夠專注於 UC 整合而非 Delta 實現。Apache Spark、Delta Flink 和 DuckDB 均已利用 Delta Kernel 支援對 UC 託管表的外部寫入，並與目錄管理的提交整合，且生態系統持續擴大。

憑證分發實現安全的外部訪問

外部引擎訪問 UC 資料需要安全的認證方式，並獲得對雲端儲存的限定範圍訪問，而無需寬泛的靜態許可權或特定賬戶的憑據。Unity Catalog 透過憑證分發功能解決這一問題，該功能現已正式可用：UC 按需向外部引擎發放短期、限定範圍的憑證，並由中心化策略強制執行訪問控制。

新增的兩項功能使其達到企業級生產就緒狀態：外部引擎可使用機器對機器（M2M）OAuth 向 UC 進行認證，滿足企業安全要求而無需依賴個人訪問令牌（PAT）；憑證由引擎透過 UC 憑證分發 API 自動重新整理，確保執行數小時的管道不會因令牌過期而中斷。

透過憑證分發，企業可以從任何相容的引擎或工具讀取、寫入和建立 Unity Catalog 中的託管表和外部表。這些憑證是短期的、限定於所請求的資源，並受 UC 許可權控制，從而讓平臺團隊完全掌控哪些主體可以外部訪問資料及其操作許可權。

卷的憑證分發（公開預覽）

憑證分發不僅限於表，還擴充套件至非結構化資料。卷憑證分發現已進入公開預覽階段，外部客戶端可以請求臨時、限定的憑證來訪問卷中儲存的影像、PDF 和影片，並應用 Unity Catalog 治理。相同的訪問控制模型、審計跟蹤和限定憑證適用於查詢表或外部處理原始影片檔案。

未來展望

我們持續投資於增強外部訪問能力。當前憑證分發為外部引擎提供粗粒度的訪問控制，我們還開發了對外部讀取實施基於屬性的訪問控制（ABAC）的功能，從而實現細粒度治理。這將使從外部引擎讀取 UC 託管表時能夠執行行級和列級 ABAC 策略。

立即開始

要開始使用憑證分發，請參閱我們的文件。要使用外部訪問託管 Delta 表的 Beta 功能：

1. 在 Databricks 預覽門戶中註冊“External Access to Unity Catalog Managed Delta Table”。
2. 在元儲存上啟用外部資料訪問，並向包含要訪問表的模式授予 EXTERNAL_USE_SCHEMA 許可權。
3. 建立新的 UC 託管表（遷移現有資料請參閱遷移指南）。
4. 使用 Delta-Spark 4.2 和 Unity Catalog 0.4.1 從外部計算建立、讀取和寫入托管表。

歡迎參加即將於2026年6月15日至18日在舊金山 Moscone 中心舉行的 Data and AI Summit 2026，瞭解領先組織如何使用 Unity Catalog 跨引擎治理資料和 AI。立即註冊，搶先預覽開放統一治理的未來。