Unity Catalog と Apache Iceberg™ の新時代
Databricks は Unity Catalog を最も包括的で相互運用性が高く、プロダクション対応の Apache Iceberg カタログとして位置づけ、Managed Iceberg、Iceberg v3、Foreign Iceberg を GA としました。5つの主要機能：オープンAPI、カタログフェデレーション、クロスエンジンアクセス制御、ゼロコピーセキュア共有、AI主導の最適化。将来の Iceberg v4 と Delta 5.0 は統一メタデータ構造に収束します。
記事インテリジェンス
要点
- Unity Catalog は Managed Iceberg、Iceberg v3、Foreign Iceberg を GA でサポート。
- 5つの主要機能：オープンAPI、カタログフェデレーション、クロスエンジン属性ベースアクセス制御、ゼロコピーセキュア共有、AI主導の最適化。
- Iceberg v4 と Delta 5.0 は適応型メタデータツリー構造を採用し、相互運用性とパフォーマンスのトレードオフを解消する。
重要な理由
このニュースが重要なのは、Unity Catalog は Managed Iceberg、Iceberg v3、Foreign Iceberg を GA でサポートためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
Databricks は、Unity Catalog が現在最も包括的で相互運用性が高く、プロダクション対応の Apache Iceberg カタログであると発表しました。Managed Iceberg、Iceberg v3、Foreign Iceberg が一般提供（GA）となり、企業は統一カタログの下で Iceberg データレイクを管理、最適化、共有できるようになります。
Unity Catalog を際立たせる5つの主要機能があります。まず、オープンAPIとクレデンシャルベンディングにより、Iceberg REST カタログAPIと互換性のあるエンジン（Spark、Trino、DuckDB など）が、データをコピーしたり広範なストレージ権限を付与したりすることなく、Managed Iceberg テーブルを直接読み書きできます。次に、カタログフェデレーションは、AWS Glue、Snowflake Horizon、Google Cloud Lakehouse などの外部カタログ内の Iceberg テーブルを Unity Catalog に登録し、単一の管理ビューを提供します。3つ目に、クロスエンジン属性ベースアクセス制御（ABAC）はベータ版で、Iceberg REST カタログスキャンAPIを介して Iceberg クライアントにきめ細かいポリシーを強制し、ガバナンスの一貫性を確保します。4つ目に、ゼロコピーセキュア共有により、Delta Sharing プロトコルを介して Iceberg REST 互換クライアントにライブデータを共有でき、手動取り込みは不要です。5つ目に、予測最適化や Liquid Clustering などの AI 主導の最適化がテーブルのデータレイアウトを自動調整し、手動メンテナンスのオーバーヘッドを削減します。
将来を見据え、Databricks は Iceberg v4 と Delta 5.0 の統合を推進しており、両者は適応型メタデータツリー構造を採用します。これにより、相互運用性とプロダクションレベルのパフォーマンスの間のトレードオフが解消されます。すべての管理テーブルは Unity Catalog で自動最適化され、オープンAPIを通じてガバナンスされ、あらゆるエンジンから利用可能となり、真のオープンレイクハウスのビジョンを実現します。