重新構想資料湖倉的資料建模:推出 Vibe Data Modeling
Databricks 推出 Vibe Data Modeling,一種基於 LLM 的代理,可將純英文業務描述自動轉化為可部署的 Silver 層資料模型,將傳統數月到數年的建模週期縮短至數小時。該工具透過 251 條規則驗證、雙架構師稽核和閉環修復,確保模型質量,並提供單一邏輯模型和多種物理佈局選項。
Databricks 今日宣佈推出 Vibe Data Modeling,這是一款原生於 Databricks 的、由大語言模型(LLM)驅動的代理工具,能夠將純英文的業務描述直接轉化為可部署的 Silver 層分析資料模型。過去,手工構建 Silver 模型通常需要六個月到三年,而使用行業模板(如保險業的 ACORD、醫療業的 FHIR)也需要九到十二個月進行裁剪和適配。Vibe Data Modeling 徹底改變了這一流程:從提示到部署的模型僅需數小時,且完全針對您的業務術語、部門和領域定製,摒棄了行業模板的“平均化”缺陷。
該工具的核心在於一個四階段流水線:理解輸入、自頂向下設計模型、連線關係與指標、部署到 Unity Catalog。每個階段都經過嚴格驗證,確保只有正確的輸出才能進入下一階段。整個系統基於多模型整合:大型思維模型負責推理和稽核,大型工作模型負責生成產品和屬性,小型模型處理領域分類、標籤和資料樣本。一個智慧裁判使用統一評分標準對多個候選方案進行評估,並在模型失效時自動降級修復,實現自我修復。
Vibe Data Modeling 的可靠性源於其 251 條可執行規則(涵蓋 20 個分組)和兩個架構師稽核階段——域架構師獨立稽核每個域,全域性架構師審查整個模型的跨域重複、單一事實源違規和結構完整性。規則中的結構性規則是確定性門控,直接讀取模型字典,不受 LLM 意見影響;質量分數由規則計算得出,而非 LLM 的自評。流水線中的代理迴圈確保每次生成都經過驗證,失敗時會改變策略重試,並有一個單調性守衛防止模型退化。
使用者可以透過自然語言進行迭代,每次“vibe”都會生成一個帶版本號的新模型,舊版本保持不變,便於審計和回退。變更分為三種模式:精準修改(僅修復指定問題)、全域性應用(在所有類似場景生效)和生成式建立(新增新概念)。每次迭代都會產生結構化的驗證需求(VREQ),每個需求由沙盒化變異器獨立應用並驗證,確保變更被準確執行。
從一次執行中,使用者可以獲得一個完整的模型工件:邏輯模型(model.json)、Unity Catalog 中的物理部署(模式、表、外部索引鍵、分類標籤)、度量檢視(可直接用於 AI/BI 儀表板和 Genie)、RDFS 本體、DBML 圖、合成樣本資料以及下一輪最佳化的建議列表。所有下游工件都從 model.json 派生,確保邏輯模型與物理部署永不脫節。
Vibe Data Modeling 還提供兩個範圍選項:最小可行模型(MVM)和擴充套件覆蓋模型(ECM)。MVM 是核心精簡版,適合快速啟動;ECM 提供全業務覆蓋。兩者共享同一規則和架構師稽核,並支援相互轉換。此外,同一邏輯模型可靈活部署為單一目錄、按部門劃分的目錄或按領域劃分的目錄,適應不同治理需求,無需重建模型。
Vibe Data Modeling 現已可用,作為一個單記事本提供:包含四個小部件,一次執行即可在 Unity Catalog 中部署完整模型。Databricks 強調,這個工具不僅簡化了初始建模,還透過六種操作(構建、vibe、縮窄、擴充套件、安裝、生成樣本資料)支援模型的持續演化,使銀層資料模型真正成為敏捷資料產品的堅實基礎。