本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

Unity Catalog と Google Cloud のボーダーレス Lakehouse によるカタログ相互運用性の進展

記事の要約

Databricks と Google Cloud はカタログ相互運用性の重要なマイルストーンを発表した。顧客は Unity Catalog と Google Cloud のボーダーレス Lakehouse の両方からデータの単一コピーにアクセスでき、重複が不要になる。Iceberg カタログラベルを通じた双方向フェデレーションとオープンなメタデータガバナンスを実現する。

Unity Catalog と Google Cloud のボーダーレス Lakehouse によるカタログ相互運用性の進展
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

Databricks と Google Cloud は最近、カタログ相互運用性における重要な進展を発表しました。顧客は Unity Catalog と Google Cloud のボーダーレス Lakehouse の両方からデータの同一コピーにアクセスできるようになり、データを複製する必要がなくなりました。この提携は、オープンな Lakehouse アーキテクチャに対する両社の長期的なビジョンに基づいており、企業が複数のプラットフォームにわたってデータと分析エンジンをシームレスに利用できるようにすることを目的としています。

Lakehouse アーキテクチャはかつてないほどオープンになっています。Delta Lake や Iceberg といったオープンテーブルフォーマットから始まった動きは、現在ではカタログフェデレーションへと進化し、複数のプラットフォーム間でのゼロコピーアクセスを実現しています。両社の提携とオープンソースコミュニティへの貢献を通じて、Databricks と Google Cloud はオープン Lakehouse エコシステムの進歩を推進し続けています。

双方向のカタログフェデレーションが今回の発表の中心です。Google Cloud のデータを Databricks に取り込むのは簡単です。Lakehouse Federation to Google Cloud を利用すると、顧客は Google Cloud の Lakehouse ランタイムカタログで管理されている Iceberg テーブルを Unity Catalog にマウントし、Databricks で分析できます。これらのテーブルは Databricks Lakehouse(サーバーレスデータウェアハウス)でクエリしたり、自然言語でデータの質問に知的に回答する Genie で分析したりできます。コードや SQL は不要です。

相互運用性は逆方向にも機能します。Databricks のデータを Google Cloud の Lakehouse に取り込むこともでき、BigQuery などのエンジンを使用する顧客はデータをコピーせずに Unity Catalog 管理のテーブルを読み取ることができます。

次のフロンティアはカタログメタデータの相互運用性です。Databricks と Google Cloud はカタログメタデータをオープンにすることで相互運用性を強化しています。ビジネスとガバナンスのセマンティクスは特定のベンダーに縛られるのではなく、アクセス可能であるべきだというのが両社の信念です。Iceberg コミュニティでは、カタログがキーバリューペア(別名ラベル)を通じてメタデータを共有できるようにするカタログラベルの提案を推進し、実現に貢献しました。これにより、「domain=finance」や「status=certified」とタグ付けされたテーブルや、「pii=ssn」とタグ付けされた列は、あるカタログから別のカタログにフェデレーションされてもタグが保持されます。

共有ラベルはエージェント時代のガバナンスにとって重要です。カタログメタデータは、機密データをフラグ付けしてマスキングしたり、データの質問に答えるためにアセットを検索するエージェントにコンテキストを提供したりするために使用できるからです。両社は提携を通じてオープンガバナンスのビジョンを推進することにコミットしています。データ資産が拡大し、AI エージェントが企業ワークフローにますます組み込まれるにつれて、この共通のコミットメントはさらに重要になります。両社は、企業が各システムでガバナンスとビジネスコンテキストを再定義する必要なく、データとともにそれらが移動できる未来を目指しています。

Unity Catalog と Google Cloud のボーダーレス Lakehouse 間のカタログフェデレーションは、ドキュメントを参照することで今すぐ開始できます。Google による Unity Catalog へのカタログフェデレーションについても確認できます。相互運用性のニーズを共有したり、相互運用性のビジョンについて詳しく知りたい場合は、Databricks のアカウントチームにお問い合わせください。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • 顧客はデータをコピーせずに BigQuery と Databricks の両方から同じデータをクエリできる。
  • 双方向フェデレーション:Iceberg テーブルを Unity Catalog にマウントでき、Unity Catalog テーブルを BigQuery などのエンジンで読み取れる。
  • Databricks と Google Cloud は Iceberg カタログラベルを推進し、ガバナンスとビジネスセマンティクスがカタログ間でデータとともに移動できるようにする。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。