Databricks 近日宣布,其 AI Search 服务在原有的 Delta 表基础上,新增对三种表源的原生支持:流式表(Streaming Tables)、物化视图(Materialized Views)以及使用 Iceberg v3+ 的托管表(Managed tables)。这一更新旨在帮助用户更轻松地构建实时智能应用,减少因数据格式转换和同步而带来的额外管道维护工作。
此前,若要将流式表、物化视图或 Iceberg 托管表用于 AI Search,客户需要先创建一份独立的 Delta 表副本,并构建管道来保持同步。这不仅增加了数据层,还需要编写自定义更新逻辑,带来持续的运维负担。现在,AI Search 可以直接连接这些数据源,用户只需创建索引并按需同步,平台会自动将变更传播到索引中,彻底消除了中间表和自定义同步管道。
三种表源各自适用于不同的场景。流式表适合持续到达的事件数据,例如新列表、库存、可用性或用户活动。AI Search 会随着新记录的到达实时索引,保持搜索索引的最新状态。这使得应用能够根据最新数据动态调整搜索结果,比如帮助用户发现新上线的餐厅,或基于近期趋势生成实时推荐。
物化视图则擅长处理聚合和连接后的定制化状态。它可以聚合事件、过滤记录并连接多个数据源,生成个性化视图。当底层数据变化时,视图会增量维护,AI Search 随之将变更传播到索引,从而支持会话感知推荐、基于近期活动的产品发现,以及根据用户兴趣演变定制结果等个性化搜索体验。
对于使用 Iceberg 托管表的用户,现在可以直接将其作为 AI Search 的数据源,无需转换或迁移到其他表格式。这为开放格式数据提供了搜索索引和其他 AI 应用的能力,使得跨引擎的 AI 应用成为可能。例如,可以搜索由不同系统管理的产品目录,统一存储在多个 Iceberg 托管表中的业务或客户数据,或在不移动底层数据的情况下对大型分布式数据集构建搜索体验。
无论通过 UI 还是 API,构建 AI Search 索引的工作流都与现有的 Delta 表源相同:创建一个 Delta Sync 索引并将其指向源表。同样的工作流现在扩展到了流式表、物化视图和 Iceberg 表,用户无需学习新的操作方式。Databricks 表示,用户可以立即开始从这些数据源创建 AI Search 索引,无需额外的数据管道。