OpenSharingのご紹介：エージェント時代に向けたDelta Sharingの次なる進化

Databricksは本日、Delta Sharingの次なる進化であり、エージェント時代に向けた業界初のオープンプロトコル「OpenSharing」を発表しました。2021年のDelta Sharingの開始以来、28,000以上のデータ受信者に採用され、33%の共有がオープンコネクタを介してプラットフォーム間で行われてきました。しかし、エージェント型AIの台頭により、企業が共有する必要のあるものは、テーブルやファイルだけでなく、セマンティックコンテキスト、AIスキル、非構造化データ、自律エージェントへと変化しています。

OpenSharingは、Delta SharingをLinux Foundationがホストする独立したオープンソースプロジェクトに発展させ、その範囲をデータ共有から完全なAIスタック（モデル、エージェント）に拡大します。これにより、組織はガバナンスされたAIエクスペリエンス（Genie Agentなど）を共有できるようになります。Genie Agent Sharingを使用すると、プロバイダーはセマンティックコンテキスト、ビジネス指標、再利用可能なAIロジックを含むGenie Agentを共有し、Unity Catalogを通じてエンドツーエンドのガバナンスを実現できます。また、プロバイダーは受信者のアクセス方法を制御でき、専用の指示を非表示にしたり、データアクセスを制限したり、日次クエリ制限や行エクスポート制限を設定したりすることで、使用量ベースの課金などの新たな収益化の機会を開きます。

クロスクラウドネットワークに関して、OpenSharingはSecureConnectとGlobal Distributionを導入します。SecureConnectは、すべての受信者のストレージアクセスをルーティングするDatabricks管理のプロキシで、一度設定すれば受信者ごとのファイアウォール変更は不要です。Global Distributionは、自動的なクロスリージョンおよびクロスクラウドレプリケーションにより、受信者がローカルレプリカをクエリできるようにし、エグレスコストを排除して低レイテンシアクセスを実現します。

OpenSharingは真のオープン性を重視しています。Delta Lake、Apache Iceberg、Parquetなどのフォーマットをサポートし、Databricks Storage Ecosystemを通じてガバナンスをオンプレミス、プライベートクラウド、エッジ環境に拡張します。ストレージパートナーはOpenSharingサーバーを実装し、データを移動することなくデータ資産をUnity Catalogに接続できます。さらに、OpenSharingはApache Iceberg REST Catalog APIのサポートを追加し、Iceberg互換クライアントとの共有を可能にしました。

動作の仕組みは、データプロバイダーがUnity Catalogで共有を作成し、共有するデータセット、モデル、エージェント、またはGenie Agentを定義して細かいアクセス権限を設定します。受信者は既存のツール、クラウド、またはIcebergクライアントから直接共有をクエリでき、Databricksにいる必要はありません。Unity Catalogはすべてのアクセスを監査し、行および列レベルの制御を適用し、コンプライアンスポリシーを各共有アセットに付与することで、エンドツーエンドのガバナンスを強制します。データはプロバイダーのクラウドストレージに残り、受信者はライブデータを直接クエリして単一の真実源を確保します。エンタープライズ展開では、SecureConnectとGlobal Distributionがクロスクラウドネットワークとレプリケーションを自動処理します。

OpenSharingは、閉じたデータ共有からオープンなAIコラボレーションへのパラダイムシフトを表しています。Databricksの共同創業者兼CTOであるMatei Zaharia氏は、「Delta Sharingは業界がロックインではなくオープンを選択することを証明しました。OpenSharingはその原則を完全なAIスタックに拡張し、クロスプラットフォームエコシステムをIceberg受信者とオンプレミスプロバイダーに拡大します。エージェント時代にはオープンな基盤が必要であり、OpenSharingがそれを提供します」と述べています。