隆重推出OpenSharing:代理时代Delta Sharing的下一次进化
Databricks推出OpenSharing,这是Delta Sharing的下一次进化,也是业界首个为代理时代构建的开放协议。它将开放数据共享扩展到完整的AI堆栈,支持模型和代理,并成为Linux基金会下的独立开源项目。OpenSharing支持跨任何云、供应商和格式的无缝共享,解决了跨组织数据共享的难题,并引入了Genie Agent Sharing、SecureConnect和Global Distribution等新功能。
Databricks今天宣布了OpenSharing,这是Delta Sharing的下一次进化,也是业界首个为代理时代构建的开放协议。自2021年Delta Sharing推出以来,它已成为最广泛采用的开放零拷贝数据共享协议,拥有超过28,000个数据接收方,33%的共享通过开放连接器跨平台流动。然而,随着代理式AI的崛起,企业需要共享的内容已经发生根本变化——不仅仅是表格和文件,还包括语义上下文、AI技能、非结构化数据和自主代理。
OpenSharing将Delta Sharing提升为一个独立的开源项目(由Linux基金会托管),并将其范围从数据共享扩展到完整的AI堆栈:模型、代理,且能够跨越任何云、任何供应商和任何格式。这意味着组织现在可以共享治理的AI体验(如Genie Agent),而不仅仅是数据集。Genie Agent Sharing允许提供商共享包含语义上下文、业务指标和可重用AI逻辑的Genie Agent,并通过Unity Catalog进行端到端治理。提供商还可以控制接收方如何访问数据,包括隐藏专有指令、限制数据访问权限、设置每日提示配额和行导出限制,从而开启基于使用量的定价等新的货币化机会。
在跨云网络方面,OpenSharing引入了SecureConnect和Global Distribution。SecureConnect是一个Databricks管理的代理,用于路由所有接收方的存储访问权限,只需配置一次即可,无需为每个接收方更改防火墙设置。Global Distribution通过自动跨区域和跨云复制,使接收方可以查询本地副本,从而消除出口费用并提供低延迟访问。
OpenSharing还致力于真正的开放性:它支持Delta Lake、Apache Iceberg和Parquet等格式,并通过Databricks存储生态系统将治理扩展到本地、私有云和边缘环境。存储合作伙伴可以实施OpenSharing服务器,将数据资产连接到Unity Catalog而无需移动数据。此外,OpenSharing现在支持Apache Iceberg REST Catalog API,使得与任何Iceberg兼容客户端的共享成为可能。
工作原理上,数据提供者在Unity Catalog中创建共享,定义要共享的数据集、模型、代理或Genie Agent,并设置细粒度的访问权限。接收方通过现有工具、云或Iceberg客户端直接查询共享,无需在Databricks上。Unity Catalog端到端执行治理,审计所有访问,并确保合规策略随每个共享资产一起传递。数据始终保持在提供者的云存储中,接收方查询实时数据,确保单一事实来源。对于企业部署,SecureConnect和Global Distribution可自动处理跨云网络和复制。
OpenSharing代表了从封闭式数据共享向开放AI协作的范式转变。Databricks联合创始人兼CTO Matei Zaharia表示:“Delta Sharing证明了行业会选择开放而非锁定。OpenSharing将该原则扩展到整个AI堆栈,同时将跨平台生态系统扩展到Iceberg接收方和本地提供商。代理时代值得一个开放的基础。”