オープンレイクハウスの次の段階はカタログによって定義される。オープンなテーブルフォーマットは複数のエンジンが同じデータを扱えるようにしたが、データが一貫して管理、最適化、共有できるかどうかはカタログが決める。AIやエージェント型アプリケーションが多くのシステムにまたがるガバナンスされたデータアクセスに依存するにつれ、企業は相互運用性、高性能、エンタープライズ級のガバナンスを同時に提供するIcebergカタログを必要としている。Databricksは、Unity Catalogがその答えであると述べている。
今回の発表では、複数のIceberg機能が大幅にアップデートされた。Managed Icebergが正式にGAとなり、Unity Catalog内でIcebergテーブルの作成、読み取り、書き込み、最適化、ガバナンス、共有が直接行えるようになった。Predictive OptimizationとLiquid Clusteringにより、手動のパフォーマンスチューニング作業が不要になる。Iceberg v3もGAとなり、削除ベクトル、行トラッキング、新しいVARIANT型をネイティブにサポートし、マネージドテーブル、外部テーブル、UniFormテーブル全体で利用できる。Foreign Icebergとその認証情報配布もGAとなり、外部カタログで管理されるIcebergテーブルを登録、ガバナンス、安全にクエリできる。さらに、Icebergクライアントへの外部共有がGA、外部Icebergテーブルの共有がパブリックプレビュー、Iceberg互換のマテリアライズドビューが制限付きパブリックプレビュー、クロスエンジンの属性ベースアクセス制御（ABAC）がベータとなった。新しいカタログフェデレーションコネクタはGoogle Cloud LakehouseとPalantirにも拡張され、Unity Catalogの単一管理画面としての地位を強化している。
Databricksは、オープンなIcebergカタログを評価する際には5つの基本能力に注目すべきだとしている。第一に、オープンAPIと認証情報配布である。これにより、顧客はデータをコピーしたり、広範なストレージ権限を付与したりすることなく、Spark、Trino、Flink、Snowflake、DuckDBなど任意のエンジンでデータにアクセスできる。第二に、カタログフェデレーションである。企業はAWS Glue、Snowflake Horizon、Hive Metastoreなどの外部カタログに分散したIcebergテーブルをUnity Catalogで統合管理できる。第三に、クロスエンジンABACである。管理者は列マスク、行フィルタ、タグベースのポリシーをUCで一度定義するだけで、外部エンジンがIceberg REST Catalog Scan APIを通じてアクセスを要求すると、UCがサーバー側のスキャン計画時にポリシーを評価し、フィルタリングされたスキャン計画を返す。これにより、エンジンは認可されたデータのみを読み取る。
第四に、ゼロコピーの安全な共有である。DatabricksはDelta Sharingプロトコルを通じてIcebergをファーストクラスシチズンにし、ソース形式としても宛先形式としても利用できるようにした。現在、Databricks顧客はIceberg REST Catalog APIをサポートする任意の受信者とライブデータを共有でき、受信者は手動の取り込みやコピーなしにSnowflake、Trino、Flink、Sparkなどのクライアントで共有データをクエリできる。また、外部Icebergテーブル共有もパブリックプレビューとなり、UCはマネージドおよび外部Icebergテーブルの共有レイヤーとして機能し、データを移動せずにガバナンスを集中化できる。
第五に、性能とフォーマットの革新である。Unity CatalogはAIを使ってテーブルを最適化する唯一のカタログであり、Predictive Optimizationはどのテーブルにメンテナンスが必要か、どの最適化をどの頻度で実行するかを判断し、ワークロードパターンに応じてデータレイアウトを適応させる。これにより運用負荷が軽減され、すべてのエンジンでクエリ性能が向上する。Iceberg v3のサポートは性能と相互運用性のギャップをさらに埋める。削除ベクトルは更新、マージ、削除を加速し、行トラッキングはより効率的な増分処理を可能にし、VARIANTは半構造化データの標準表現を提供する。これらの機能はDeltaテーブルとIcebergテーブルの両方でシームレスに動作し、データを書き換えることなく相互運用性を実現する。
今後について、DatabricksはIceberg v4のコアメタデータ構造をゼロから再考し、性能、拡張性、相互運用性を向上させようとしている。目標は性能と機能革新の水準を継続的に引き上げ、IcebergとDelta Lakeをより近づけることである。そのため、Databricksは次世代のDelta 5.0が適応型メタデータツリー構造を採用することを提案している。最終的には、すべてのマネージドテーブルがUnity Catalogで自動最適化され、オープンAPIを通じてガバナンスされ、任意のエンジンで利用可能になる。これにより、相互運用性と本番級の性能の間のトレードオフが解消される。