OpenSharing は、組織間でのライブデータ共有を容易にしますが、プロバイダーのストレージがプライベートネットワーク内にある場合(高度に機密性の高いデータや規制対象データの共有など)、ネットワークの複雑さが増大します。プロバイダーは各受信者の IP アドレスやクラウド VPC/VNet をストレージファイアウォールに手動で許可リストに追加する必要があります。受信者はプロバイダーのストレージへの出力ルールを開放しなければなりません。双方はメールや Slack で低レベルのネットワーク識別子を手動で交換するため、クラウドインフラ管理者がボトルネックとなり、新しい受信者を1人オンボーディングするのに数週間かかることもあります。数十から数百の受信者と共有するプロバイダーにとって、この方法はスケーラブルではなく、セキュリティを犠牲にして簡素化するか、データを自社のストレージからステージングエリアに移動するかの選択を強いられます。どちらも最適とは言えません。
OpenSharing SecureConnect は、この問題を解決するために設計されました。これは Databricks 管理のプロキシで、受信者に代わってストレージアクセスをルーティングします。設定は一度だけです。プロバイダーは Databricks のネットワークエンドポイントをストレージに許可リストとして追加し、SecureConnect を有効にします。その後は、受信者ごとのファイアウォール変更は必要ありません。データはプロバイダーのストレージバケットに残り、ソースから直接ライブ共有されます。受信者はストレージバケット自体に直接接続しません。オプションで、プロバイダーは NCC(ネットワーク接続構成)を使用して、プロキシとプロバイダーストレージ間のプライベートリンク接続を利用できます。
「SecureConnect の導入により、データ製品の提供を簡素化し、強化することができました。お客様がガバナンスされた発見とアクセスプログラムを実行している場合でも、マルチパーティデータ交換を運営している場合でも、制御を犠牲にすることなく、より迅速に行動し、消費者にサービスを提供できます。」— Harbr Data のカスタマーソリューション&イノベーションディレクター、Sebastian Drave
仕組み:プロバイダー(一度の設定):ストレージアクセスを構成し、Databricks サーバーレスデータプレーンからのアクセスを許可します。SecureConnect をメタストアに対して有効にすると、Databricks は新しい受信者のストレージアクセスを SecureConnect 経由でルーティングします。オプションで既存の受信者を移行できます(デフォルトでは従来の直接アクセスを継続、個別に切り替え可能)。オプションで OpenSharing NCC を構成し、Databricks 管理プロキシとストレージ間のプライベートリンク接続を追加します。受信者:サーバーレス受信者は設定不要 — プロバイダーが SecureConnect を有効にすると、サーバーレス受信者からのストレージアクセスは自動的に SecureConnect 経由になります。クラシックおよびオープン受信者は、Databricks の安定したインバウンド IP(Databricks ドキュメントで公開)を許可リストに追加します。
主な機能:受信者数に関係なくプロバイダーの設定は一度だけ。データ受信者の設定は最小限で、サーバーレス受信者はゼロ設定。NCC によるプロバイダーストレージへのオプションのプライベート接続。データ受信者向けの相互 TLS によるセキュリティ強化。異なるリージョンやクラウド間でのデータ共有に対応。カスタマー管理ストレージと Databricks デフォルトストレージの両方で動作。
OpenSharing SecureConnect はパブリックプレビューで利用可能です。有効にするには、Databricks ワークスペースに移動し、Open Sharing 設定を開き、一度の SecureConnect セットアップ手順に従ってください。その後、追加のネットワーク設定なしで受信者とデータを共有できます。詳細なドキュメントについては、OpenSharing SecureConnect ドキュメントをご覧ください。