AI News HubLIVE
站內改寫2 分鐘閱讀

重新構想數據湖倉的數據建模:推出 Vibe Data Modeling

Databricks 推出 Vibe Data Modeling,一種基於 LLM 的代理,可將純英文業務描述自動轉化為可部署的 Silver 層數據模型,將傳統數月到數年的建模週期縮短至數小時。該工具通過 251 條規則驗證、雙架構師審核和閉環修復,確保模型質量,並提供單一邏輯模型和多種物理佈局選項。

Databricks 今日宣佈推出 Vibe Data Modeling,這是一款原生於 Databricks 的、由大語言模型(LLM)驅動的代理工具,能夠將純英文的業務描述直接轉化為可部署的 Silver 層分析數據模型。過去,手工構建 Silver 模型通常需要六個月到三年,而使用行業模板(如保險業的 ACORD、醫療業的 FHIR)也需要九到十二個月進行裁剪和適配。Vibe Data Modeling 徹底改變了這一流程:從提示到部署的模型僅需數小時,且完全針對您的業務術語、部門和領域定製,摒棄了行業模板的“平均化”缺陷。

該工具的核心在於一個四階段流水線:理解輸入、自頂向下設計模型、連接關係與指標、部署到 Unity Catalog。每個階段都經過嚴格驗證,確保只有正確的輸出才能進入下一階段。整個系統基於多模型集成:大型思維模型負責推理和審核,大型工作模型負責生成產品和屬性,小型模型處理領域分類、標籤和數據樣本。一個智能裁判使用統一評分標準對多個候選方案進行評估,並在模型失效時自動降級修復,實現自我修復。

Vibe Data Modeling 的可靠性源於其 251 條可執行規則(涵蓋 20 個分組)和兩個架構師審核階段——域架構師獨立審核每個域,全局架構師審查整個模型的跨域重複、單一事實源違規和結構完整性。規則中的結構性規則是確定性門控,直接讀取模型字典,不受 LLM 意見影響;質量分數由規則計算得出,而非 LLM 的自評。流水線中的代理循環確保每次生成都經過驗證,失敗時會改變策略重試,並有一個單調性守衞防止模型退化。

用户可以通過自然語言進行迭代,每次“vibe”都會生成一個帶版本號的新模型,舊版本保持不變,便於審計和回退。變更分為三種模式:精準修改(僅修復指定問題)、全局應用(在所有類似場景生效)和生成式創建(添加新概念)。每次迭代都會產生結構化的驗證需求(VREQ),每個需求由沙盒化變異器獨立應用並驗證,確保變更被準確執行。

從一次運行中,用户可以獲得一個完整的模型工件:邏輯模型(model.json)、Unity Catalog 中的物理部署(模式、表、外鍵、分類標籤)、度量視圖(可直接用於 AI/BI 儀表板和 Genie)、RDFS 本體、DBML 圖、合成樣本數據以及下一輪優化的建議列表。所有下游工件都從 model.json 派生,確保邏輯模型與物理部署永不脱節。

Vibe Data Modeling 還提供兩個範圍選項:最小可行模型(MVM)和擴展覆蓋模型(ECM)。MVM 是核心精簡版,適合快速啓動;ECM 提供全業務覆蓋。兩者共享同一規則和架構師審核,並支持相互轉換。此外,同一邏輯模型可靈活部署為單一目錄、按部門劃分的目錄或按領域劃分的目錄,適應不同治理需求,無需重建模型。

Vibe Data Modeling 現已可用,作為一個單記事本提供:包含四個小部件,一次運行即可在 Unity Catalog 中部署完整模型。Databricks 強調,這個工具不僅簡化了初始建模,還通過六種操作(構建、vibe、縮窄、擴展、安裝、生成樣本數據)支持模型的持續演化,使銀層數據模型真正成為敏捷數據產品的堅實基礎。