地理空间无边界:Spatial SQL 正式发布,集成 AI/BI 地图、Delta Sharing 和 Iceberg v3
Databricks 宣布 Spatial SQL 正式可用,在开放湖仓中提供原生地理空间支持,包括 AI/BI 地图、Delta Sharing 和 Iceberg v3。性能大幅提升,拥有 90 多个 ST_ 函数,空间查询速度提升高达 15 倍,集合操作速度提升 2 倍。
Databricks 宣布 Spatial SQL 正式发布(GA),使地理空间分析成为开放湖仓(Open Lakehouse)的原生能力。这一里程碑意味着用户可以在 Databricks 平台上直接存储几何数据、执行空间查询,并通过 Delta Sharing 和 Iceberg v3 等开放格式共享数据,无需再拼凑多个系统。
过去,处理空间问题通常需要将空间数据库、数据仓库和可视化工具组合在一起,每个额外系统都增加风险和治理碎片。现在,Spatial SQL 提供了超过 90 个符合 OGC 标准的 ST_* 函数,支持 WKT、GeoJSON 等常见格式的导入导出,以及测量、构造、谓词和变换等操作。性能方面,自公开预览版以来,空间连接和 ST_函数持续优化:SpatialBench 基准测试中,12 个查询中的 8 个获得 20% 到 15 倍的提升;布尔集合操作(ST_Intersection、ST_Difference、ST_Union)的平均速度提升 2 倍,且无需更改代码。
AI/BI 仪表盘现在支持使用 Geometry 或 Geography 列原生渲染地图。用户可以在仪表盘中直接查看保险风险、飓风路径等空间数据,并通过过滤器切片分析。Genie 功能允许用自然语言提问,例如“显示佛罗里达州飓风预测路径中总保额超过 100 万美元的保单”,Genie 会自动生成空间查询并生成带地图的仪表盘,同时遵守 Unity Catalog 的权限和行过滤器。
在开放生态方面,包含地理列的表现在可以通过 Delta Sharing 共享,无需数据提取或模式转换。Iceberg v3 表也支持地理空间数据类型,实现了跨格式互操作性。未来,Databricks 正在向 Apache Spark 4.2 贡献 Geometry 和 Geography 类型,预计 2026 年夏季可用,届时这些原生类型将惠及整个 Spark 社区。