开放共享 SecureConnect 简介
开放共享 SecureConnect 是 Databricks 管理的代理,旨在简化跨组织数据共享的网络配置。提供者只需一次性设置,无需为每个接收者配置网络。可选私有链路连接增强安全性,数据保留在提供者存储中。现已公开发布预览版。
开放共享(OpenSharing)使得跨组织共享实时数据变得简单,但当提供者的存储位于私有网络中(例如用于高度敏感或受监管的数据共享)时,网络复杂性会成倍增加。提供者必须手动将每个接收者的 IP 地址或云 VPC/VNet 加入存储防火墙的白名单。接收者则需要开放出站规则以连接提供者的存储。双方通过电子邮件和 Slack 手动交换底层网络标识符,导致云基础设施管理员成为瓶颈,单个新接收者的接入可能需要数周时间。对于需要与数十或数百个接收者共享数据的提供者而言,这种方法无法扩展,迫使提供者在安全性和简易性之间做出妥协,或者将数据迁移到临时存储区域——这两种选择都不理想。
开放共享 SecureConnect 正是为解决这一问题而设计。它是一个由 Databricks 管理的代理,代表接收者路由存储访问。设置只需一次:提供者将 Databricks 的网络端点加入存储白名单并启用 SecureConnect。此后,无需为每个接收者更改防火墙规则。数据仍保留在提供者的存储桶中,直接从源进行实时共享——接收者无需直接连接到存储桶。可选地,提供者可以利用 NCC(网络连接配置)在代理与提供者存储之间建立私有链路连接。
“SecureConnect 的推出使我们能够简化和加固数据产品的交付。无论我们的客户是运行受控的发现和访问计划,还是运营多方数据交换,他们都可以在不牺牲控制权的情况下更快地行动并为消费者提供服务。”——Harbr Data 客户解决方案与创新总监 Sebastian Drave
工作原理:提供者(一次性设置):配置存储访问,允许从 Databricks 无服务器数据平面访问;启用 SecureConnect,Databricks 将新接收者的存储访问路由到 SecureConnect;可选迁移现有接收者(默认继续使用直接存储访问,可逐个切换);可选配置 OpenSharing NCC 以在代理与提供者存储之间添加私有链路连接。接收者:无服务器接收者无需任何配置——当提供者启用 SecureConnect 时,存储访问自动通过 SecureConnect 路由;经典接收者和开放接收者需将 Databricks 的稳定入站 IP 加入白名单(IP 地址在 Databricks 文档中公开)。
关键能力:提供者一次性设置,无论接收者数量多少;数据接收者配置最少,无服务器接收者零配置;可选通过 NCC 实现与提供者存储的私有连接;双向 TLS 增强数据接收者的安全性;支持跨区域和跨云的数据共享;适用于客户管理存储和 Databricks 默认存储。
OpenSharing SecureConnect 现已进入公开预览阶段。要启用它,请导航到您的 Databricks 工作区,打开开放共享设置,按照一次性设置指南操作,然后即可与接收者共享数据——无需额外的网络配置。有关完整文档,请访问 OpenSharing SecureConnect 文档。