Unity Catalog 開放 API 實現更廣泛的互操作性
Unity Catalog 現已擴展其開放 API，允許外部引擎（如 Apache Spark、Flink 和 DuckDB）在測試版中創建和寫入托管 Delta 表，並通過憑證分發（GA）提供安全的細粒度訪問控制。這打破了數據孤島，實現了統一治理和多引擎互操作。
Unity Catalog 自誕生之初便致力於構建開放的湖倉一體架構。過去，數據團隊常常被困在各自的數據孤島中，為了使用不同的工具而不得不跨平台複製數據，每次引入新平台都意味着重複的數據拷貝、重建訪問策略以及繁瑣的同步工作。這直接導致了存儲成本上升、策略不一致以及數據訪問與發現的碎片化問題。
隨着 Unity Catalog 的開源以及開放 API 的推出，我們打破了這些束縛企業的枷鎖。如今，企業終於可以保留一份數據副本，使用任何計算引擎，並從單一位置治理所有數據。Unity Catalog 生態系統蓬勃發展，已有數千家客户通過它來治理和訪問 Delta Lake 與 Apache Iceberg 表，集成範圍涵蓋 Apache Spark、Trino、DuckDB 和 Confluent Tableflow 等數十種引擎。
外部訪問託管表（Beta）
UC 託管表是開放性與性能的結合體。這些高級表利用預測優化和液態聚類自動調整數據佈局、執行壓縮與清理、保持統計信息最新，從而帶來高達20倍的查詢加速和50%的存儲成本降低，同時通過開放 API 保持完全可訪問。
現在，外部引擎（如 Apache Spark、Flink 和 DuckDB）可以在測試版中創建並寫入 UC 託管 Delta 表，同時享受集中治理和自動優化。具體能力包括：
- 創建託管表：直接從外部引擎建立新的 UC 託管表。
- 批量讀寫：對託管表進行具有完整事務安全性的讀寫操作。
- 流式讀寫：將託管表作為流式源和接收端，在 Apache Spark 上實現端到端的實時管道。
由於所有操作都流經基於目錄提交構建的 UC 託管表，因此能夠獲得序列化提交以防止日誌損壞，並實現每次讀寫的完整審計。預測優化即使對由外部引擎訪問的表也能無縫運行。目錄提交還為多語句、多表事務等高級功能奠定了基礎。
Delta Kernel——用於讀寫和提交 Delta 表的開源 Java 和 Rust 庫——抽象了底層協議細節，使連接器開發者能夠專注於 UC 集成而非 Delta 實現。Apache Spark、Delta Flink 和 DuckDB 均已利用 Delta Kernel 支持對 UC 託管表的外部寫入，並與目錄管理的提交集成，且生態系統持續擴大。
憑證分發實現安全的外部訪問
外部引擎訪問 UC 數據需要安全的認證方式，並獲得對雲存儲的限定範圍訪問，而無需寬泛的靜態權限或特定賬户的憑據。Unity Catalog 通過憑證分發功能解決這一問題，該功能現已正式可用：UC 按需向外部引擎發放短期、限定範圍的憑證，並由中心化策略強制執行訪問控制。
新增的兩項功能使其達到企業級生產就緒狀態：外部引擎可使用機器對機器（M2M）OAuth 向 UC 進行認證，滿足企業安全要求而無需依賴個人訪問令牌（PAT）；憑證由引擎通過 UC 憑證分發 API 自動刷新，確保運行數小時的管道不會因令牌過期而中斷。
通過憑證分發，企業可以從任何兼容的引擎或工具讀取、寫入和創建 Unity Catalog 中的託管表和外部表。這些憑證是短期的、限定於所請求的資源，並受 UC 權限控制，從而讓平台團隊完全掌控哪些主體可以外部訪問數據及其操作權限。
卷的憑證分發（公開預覽）
憑證分發不僅限於表，還擴展至非結構化數據。卷憑證分發現已進入公開預覽階段，外部客户端可以請求臨時、限定的憑證來訪問卷中存儲的圖像、PDF 和視頻，並應用 Unity Catalog 治理。相同的訪問控制模型、審計跟蹤和限定憑證適用於查詢表或外部處理原始視頻文件。
未來展望
我們持續投資於增強外部訪問能力。當前憑證分發為外部引擎提供粗粒度的訪問控制，我們還開發了對外部讀取實施基於屬性的訪問控制（ABAC）的功能，從而實現細粒度治理。這將使從外部引擎讀取 UC 託管表時能夠執行行級和列級 ABAC 策略。
立即開始
要開始使用憑證分發，請參閲我們的文檔。要使用外部訪問託管 Delta 表的 Beta 功能：
- 在 Databricks 預覽門户中註冊“External Access to Unity Catalog Managed Delta Table”。
- 在元存儲上啓用外部數據訪問，並向包含要訪問表的模式授予 EXTERNAL_USE_SCHEMA 權限。
- 創建新的 UC 託管表（遷移現有數據請參閲遷移指南）。
- 使用 Delta-Spark 4.2 和 Unity Catalog 0.4.1 從外部計算創建、讀取和寫入托管表。
歡迎參加即將於2026年6月15日至18日在舊金山 Moscone 中心舉行的 Data and AI Summit 2026，瞭解領先組織如何使用 Unity Catalog 跨引擎治理數據和 AI。立即註冊，搶先預覽開放統一治理的未來。