Databricks と Google Cloud は最近、カタログ相互運用性における重要な進展を発表しました。顧客は Unity Catalog と Google Cloud のボーダーレス Lakehouse の両方からデータの同一コピーにアクセスできるようになり、データを複製する必要がなくなりました。この提携は、オープンな Lakehouse アーキテクチャに対する両社の長期的なビジョンに基づいており、企業が複数のプラットフォームにわたってデータと分析エンジンをシームレスに利用できるようにすることを目的としています。
Lakehouse アーキテクチャはかつてないほどオープンになっています。Delta Lake や Iceberg といったオープンテーブルフォーマットから始まった動きは、現在ではカタログフェデレーションへと進化し、複数のプラットフォーム間でのゼロコピーアクセスを実現しています。両社の提携とオープンソースコミュニティへの貢献を通じて、Databricks と Google Cloud はオープン Lakehouse エコシステムの進歩を推進し続けています。
双方向のカタログフェデレーションが今回の発表の中心です。Google Cloud のデータを Databricks に取り込むのは簡単です。Lakehouse Federation to Google Cloud を利用すると、顧客は Google Cloud の Lakehouse ランタイムカタログで管理されている Iceberg テーブルを Unity Catalog にマウントし、Databricks で分析できます。これらのテーブルは Databricks Lakehouse(サーバーレスデータウェアハウス)でクエリしたり、自然言語でデータの質問に知的に回答する Genie で分析したりできます。コードや SQL は不要です。
相互運用性は逆方向にも機能します。Databricks のデータを Google Cloud の Lakehouse に取り込むこともでき、BigQuery などのエンジンを使用する顧客はデータをコピーせずに Unity Catalog 管理のテーブルを読み取ることができます。
次のフロンティアはカタログメタデータの相互運用性です。Databricks と Google Cloud はカタログメタデータをオープンにすることで相互運用性を強化しています。ビジネスとガバナンスのセマンティクスは特定のベンダーに縛られるのではなく、アクセス可能であるべきだというのが両社の信念です。Iceberg コミュニティでは、カタログがキーバリューペア(別名ラベル)を通じてメタデータを共有できるようにするカタログラベルの提案を推進し、実現に貢献しました。これにより、「domain=finance」や「status=certified」とタグ付けされたテーブルや、「pii=ssn」とタグ付けされた列は、あるカタログから別のカタログにフェデレーションされてもタグが保持されます。
共有ラベルはエージェント時代のガバナンスにとって重要です。カタログメタデータは、機密データをフラグ付けしてマスキングしたり、データの質問に答えるためにアセットを検索するエージェントにコンテキストを提供したりするために使用できるからです。両社は提携を通じてオープンガバナンスのビジョンを推進することにコミットしています。データ資産が拡大し、AI エージェントが企業ワークフローにますます組み込まれるにつれて、この共通のコミットメントはさらに重要になります。両社は、企業が各システムでガバナンスとビジネスコンテキストを再定義する必要なく、データとともにそれらが移動できる未来を目指しています。
Unity Catalog と Google Cloud のボーダーレス Lakehouse 間のカタログフェデレーションは、ドキュメントを参照することで今すぐ開始できます。Google による Unity Catalog へのカタログフェデレーションについても確認できます。相互運用性のニーズを共有したり、相互運用性のビジョンについて詳しく知りたい場合は、Databricks のアカウントチームにお問い合わせください。