Apache Spark 4.2 正式发布：AI 原生分析与数据治理的里程碑

Apache Spark 4.2 正式发布，将更多现代数据与人工智能栈的核心能力直接内嵌至引擎中。该版本建立在 Spark 4.x 的基础上，新增了受治理的度量、向量与 Top-K 原语、更 Arrow 优先的 Python 路径、一流的变更数据捕获以及更强的流处理与运维基础。

这些改进使 Spark 在 AI 应用的两侧都更加有用：一方面提高了供给 AI 代理的数据质量与新鲜度，另一方面使应用和代理能够更轻松地将 Spark 作为远程执行服务调用。具体而言，Spark 4.2 提供了可信的语义、原生检索原语、新鲜的变更数据以及面向 Spark 规模计算的开源接口。

Spark 4.2 的核心收益可归纳为四个方面：

一次定义，到处使用：度量视图将受治理的业务指标引入 Spark，使 SQL、BI 工具、应用及 AI 系统能够使用相同的定义。许多重要指标并非安全可加，例如比率、去重计数、留存率等，当每个使用者以不同粒度重写公式时，容易产生错误结果。度量视图将维度和度量作为 Spark 理解的一等对象，引擎能够保留预期的聚合语义。

随时随地调用 Spark：Spark Connect、PySpark、Arrow 及 Python 数据源改进使得 Spark 更易从服务和 Python 生态系统中调用。Spark Connect 通过基于 gRPC 和 Arrow 的协议将客户端与服务器分离，客户端无需完整 Spark 运行时即可构建逻辑计划并获取结果。Spark 4.2 进一步缩小了与 Spark Classic 的兼容性差距，包括更好的 RDD API 兼容性、DataFrame 输入支持、可调试性改进、错误传播、状态报告以及 YARN 集群模式支持。

在 SQL 中运行 AI 原生分析：新增向量距离与相似度函数、向量归一化、向量聚合以及 NEAREST BY（一种基于距离匹配的 Top-K 排序连接），支持检索、推荐、实体解析及候选生成等场景。内置 GEOMETRY 和 GEOGRAPHY 类型及 ST_* 函数，无需外部空间扩展即可实现位置感知分析。此外，还增加了完全限定的内置函数 (SYSTEM.BUILTIN) 和临时视图 (SYSTEM.SESSION)、SQL 搜索路径 (SET PATH)、游标支持 (DECLARE/OPEN/FETCH/CLOSE)、Tuple 草图、time_bucket 时间序列分析、QUALIFY 窗口过滤、Top-K 聚合 (max_by/min_by) 以及 IGNORE NULLS 等特性。

安全处理变化的数据：Spark 声明式管道 (SDP) 引入了 Auto CDC 支持，提供 Python API 将 CDC 变更应用于 SCD Type 1 目标表，自动处理删除和乱序事件。实时模式 (Real-Time Mode) 扩展至 PySpark，支持无状态流查询实现毫秒级端到端延迟。未来 Spark 4.x 版本将增加有状态支持，包括新的流式 shuffle、并发阶段调度以及状态算子支持。Data Source V2 (DSv2) 进一步演进，新增一等 CDC 支持、CHANGES SQL 子句、行级 DML、模式演进化、事务 API 基础以及存储分区连接优化等功能。

概而言之，Spark 4.2 帮助组织使用一个开源引擎来完成数据准备、业务含义定义、相关上下文检索以及保持分析与 AI 应用的最新状态。这些改进使 Spark 在 AI 时代的角色更加重要，为数据与 AI 工作负载提供了统一、可扩展且开放的基础。