Unity Catalogは、オープンなレイクハウスアーキテクチャのために設計されました。以前は、データチームはサイロ化され、使用したいツールのためにプラットフォーム間でデータを複製せざるを得ませんでした。新しいプラットフォームやツールを導入するたびに、データセットのコピー、アクセスポリシーの再構築、同期の維持が必要となり、ストレージコストの増加、ポリシーの不整合、データアクセスとディスカバリーの断片化を招いていました。
Unity Catalogをオープンソース化しOpen APIを立ち上げたことで、顧客をロックインしていたサイロを打破しました。企業はついにデータの単一コピーを保持し、任意のコンピュートエンジンを使用し、すべてを一元的にガバナンスできるようになりました。UCエコシステムは急成長し、現在では数千の顧客がUnity Catalogを使用してDelta LakeおよびApache Icebergテーブルをガバナンス・アクセスしており、Apache Spark、Trino、DuckDB、Confluent Tableflowなど数十の統合が拡大しています。
マネージドテーブルへの外部アクセス（ベータ）
UCマネージドテーブルは、オープン性とパフォーマンスを両立させた高度なテーブルです。Predictive OptimizationとLiquid Clusteringによりデータレイアウトを自動調整し、コンパクションやバキュームを実行、統計情報を最新に保つことで、最大20倍のクエリ高速化と50%のストレージコスト削減を実現し、Open APIを通じて完全にアクセス可能です。
今回のベータ版では、Apache Spark、Flink、DuckDBなどの外部エンジンがUCマネージドDeltaテーブルを作成し書き込むことができ、集中ガバナンスと自動最適化の恩恵を受けられます。具体的には：
- マネージドテーブルの作成：外部エンジンから直接新しいUCマネージドテーブルをセットアップ。
- バッチ読み書き：完全なトランザクション安全性を備えたマネージドテーブルの読み書き。
- ストリーミング：マネージドテーブルをストリームソースおよびシンクとして使用し、Apache Sparkでエンドツーエンドのリアルタイムパイプラインを実現。
すべての操作はカタログコミット上に構築されたUCマネージドテーブルを経由するため、シリアル化されたコミットによるログ破損防止と、すべての読み書きの完全な監査を取得できます。Predictive Optimizationは外部エンジンからアクセスされるテーブルでもシームレスに動作します。カタログコミットは、集中コミットコーディネーターを必要とするマルチステートメント・マルチテーブルトランザクションなどの機能の基盤も提供します。
Delta Kernelは、Deltaテーブルの読み取り・書き込み・コミットを行うオープンソースのJava/Rustライブラリで、低レベルのプロトコル詳細を抽象化するため、コネクタ開発者はDelta実装ではなくUC統合に集中できます。Apache Spark、Delta Flink、DuckDBはいずれもDelta Kernelを活用してUCマネージドテーブルへの外部書き込みをサポートし、カタログ管理コミットと統合しており、エコシステムは拡大を続けています。
認証情報ベンダリングによるセキュアな外部アクセス
外部エンジンがUCのデータにアクセスするには、セキュアな認証と、広範な静的権限や特定アカウントの資格情報を必要としない限定されたクラウドストレージアクセスが必要です。Unity Catalogは認証情報ベンダリングでこれを解決し、今回GA（一般提供）を迎えました。UCはオンデマンドで短期間・スコープ限定の資格情報を外部エンジンに発行し、アクセスポリシーを集中管理します。
エンタープライズスケールで本番運用可能にする2つの追加機能があります。外部エンジンは機械対機械（M2M）OAuthを使用してUCに認証できるようになり、ユーザーごとの長期トークン（PAT）に依存せず、企業のセキュリティ要件を満たします。また、資格情報はUC認証情報ベンダリングAPIを介してエンジンが自動的にリフレッシュするため、数時間実行されるパイプラインでもトークン期限切れによる中断が発生しません。
認証情報ベンダリングにより、企業は互換性のあるエンジンやツールからUnity Catalog内のマネージドテーブルおよび外部テーブルを読み取り、書き込み、作成できます。資格情報は短期間で、要求されたリソースにスコープされ、UC権限で管理されるため、プラットフォームチームはどのプリンシパルが外部データにアクセスし、何を実行できるかを完全に制御できます。
ボリューム向け認証情報ベンダリング（パブリックプレビュー）
認証情報ベンダリングはテーブルだけでなく、非構造化データにも拡張されます。ボリューム向け認証情報ベンダリングはパブリックプレビューとなり、外部クライアントは一時的でスコープ限定の資格情報を要求し、ボリュームに保存された画像、PDF、動画にUnity Catalogガバナンス付きでアクセスできます。テーブルのクエリでも外部での生動画ファイル処理でも、同じアクセス制御モデル、監査証跡、スコープ限定資格情報が適用されます。
今後の展開
外部アクセスの機能強化を継続的に投資しています。現在の認証情報ベンダリングは外部エンジンに対して粗粒度のアクセス制御を提供しますが、外部読み取り向けに属性ベースアクセス制御（ABAC）を適用する機能も開発済みです。これにより、UCマネージドテーブルが外部エンジンから読み取られる際に、行および列レベルのABACポリシーを適用できるようになります。
はじめよう
認証情報ベンダリングの使用を開始するには、ドキュメントをご覧ください。マネージドDeltaテーブルへの外部アクセスのベータ版を使用するには：
- Databricksプレビューポータルで「External Access to Unity Catalog Managed Delta Table」に登録。
- メタストアで外部データアクセスを有効にし、アクセスするテーブルを含むスキーマにEXTERNAL_USE_SCHEMAを付与。
- 新しいUCマネージドテーブルを作成（既存データの移行については移行ガイドを参照）。
- Delta-Spark 4.2とUnity Catalog 0.4.1を使用して、外部コンピュートからマネージドテーブルを作成、読み取り、書き込み。
2026年6月15日〜18日にサンフランシスコのモスコーニセンターで開催されるData and AI Summit 2026にぜひご参加ください。先進企業がUnity Catalogを使用してデータとAIをエンジン横断でガバナンスする方法を学べます。今すぐ登録して、オープンで統合されたガバナンスの未来をいち早くご覧ください。