地理空間無邊界:Spatial SQL 正式發佈,集成 AI/BI 地圖、Delta Sharing 和 Iceberg v3
Databricks 宣佈 Spatial SQL 正式可用,在開放湖倉中提供原生地理空間支持,包括 AI/BI 地圖、Delta Sharing 和 Iceberg v3。性能大幅提升,擁有 90 多個 ST_ 函數,空間查詢速度提升高達 15 倍,集合操作速度提升 2 倍。
Databricks 宣佈 Spatial SQL 正式發佈(GA),使地理空間分析成為開放湖倉(Open Lakehouse)的原生能力。這一里程碑意味着用户可以在 Databricks 平台上直接存儲幾何數據、執行空間查詢,並通過 Delta Sharing 和 Iceberg v3 等開放格式共享數據,無需再拼湊多個系統。
過去,處理空間問題通常需要將空間數據庫、數據倉庫和可視化工具組合在一起,每個額外系統都增加風險和治理碎片。現在,Spatial SQL 提供了超過 90 個符合 OGC 標準的 ST_* 函數,支持 WKT、GeoJSON 等常見格式的導入導出,以及測量、構造、謂詞和變換等操作。性能方面,自公開預覽版以來,空間連接和 ST_函數持續優化:SpatialBench 基準測試中,12 個查詢中的 8 個獲得 20% 到 15 倍的提升;布爾集合操作(ST_Intersection、ST_Difference、ST_Union)的平均速度提升 2 倍,且無需更改代碼。
AI/BI 儀表盤現在支持使用 Geometry 或 Geography 列原生渲染地圖。用户可以在儀表盤中直接查看保險風險、颶風路徑等空間數據,並通過過濾器切片分析。Genie 功能允許用自然語言提問,例如“顯示佛羅里達州颶風預測路徑中總保額超過 100 萬美元的保單”,Genie 會自動生成空間查詢並生成帶地圖的儀表盤,同時遵守 Unity Catalog 的權限和行過濾器。
在開放生態方面,包含地理列的表現在可以通過 Delta Sharing 共享,無需數據提取或模式轉換。Iceberg v3 表也支持地理空間數據類型,實現了跨格式互操作性。未來,Databricks 正在向 Apache Spark 4.2 貢獻 Geometry 和 Geography 類型,預計 2026 年夏季可用,屆時這些原生類型將惠及整個 Spark 社區。