Databricks 近日宣佈,其 AI Search 服務在原有的 Delta 表基礎上,新增對三種表源的原生支持:流式表(Streaming Tables)、物化視圖(Materialized Views)以及使用 Iceberg v3+ 的託管表(Managed tables)。這一更新旨在幫助用户更輕鬆地構建實時智能應用,減少因數據格式轉換和同步而帶來的額外管道維護工作。
此前,若要將流式表、物化視圖或 Iceberg 託管表用於 AI Search,客户需要先創建一份獨立的 Delta 表副本,並構建管道來保持同步。這不僅增加了數據層,還需要編寫自定義更新邏輯,帶來持續的運維負擔。現在,AI Search 可以直接連接這些數據源,用户只需創建索引並按需同步,平台會自動將變更傳播到索引中,徹底消除了中間表和自定義同步管道。
三種表源各自適用於不同的場景。流式表適合持續到達的事件數據,例如新列表、庫存、可用性或用户活動。AI Search 會隨着新記錄的到達實時索引,保持搜索索引的最新狀態。這使得應用能夠根據最新數據動態調整搜索結果,比如幫助用户發現新上線的餐廳,或基於近期趨勢生成實時推薦。
物化視圖則擅長處理聚合和連接後的定製化狀態。它可以聚合事件、過濾記錄並連接多個數據源,生成個性化視圖。當底層數據變化時,視圖會增量維護,AI Search 隨之將變更傳播到索引,從而支持會話感知推薦、基於近期活動的產品發現,以及根據用户興趣演變定製結果等個性化搜索體驗。
對於使用 Iceberg 託管表的用户,現在可以直接將其作為 AI Search 的數據源,無需轉換或遷移到其他表格式。這為開放格式數據提供了搜索索引和其他 AI 應用的能力,使得跨引擎的 AI 應用成為可能。例如,可以搜索由不同系統管理的產品目錄,統一存儲在多個 Iceberg 託管表中的業務或客户數據,或在不移動底層數據的情況下對大型分佈式數據集構建搜索體驗。
無論通過 UI 還是 API,構建 AI Search 索引的工作流都與現有的 Delta 表源相同:創建一個 Delta Sync 索引並將其指向源表。同樣的工作流現在擴展到了流式表、物化視圖和 Iceberg 表,用户無需學習新的操作方式。Databricks 表示,用户可以立即開始從這些數據源創建 AI Search 索引,無需額外的數據管道。