AI News HubLIVE
站内改写2 分钟阅读

重新构想数据湖仓的数据建模:推出 Vibe Data Modeling

Databricks 推出 Vibe Data Modeling,一种基于 LLM 的代理,可将纯英文业务描述自动转化为可部署的 Silver 层数据模型,将传统数月到数年的建模周期缩短至数小时。该工具通过 251 条规则验证、双架构师审核和闭环修复,确保模型质量,并提供单一逻辑模型和多种物理布局选项。

Databricks 今日宣布推出 Vibe Data Modeling,这是一款原生于 Databricks 的、由大语言模型(LLM)驱动的代理工具,能够将纯英文的业务描述直接转化为可部署的 Silver 层分析数据模型。过去,手工构建 Silver 模型通常需要六个月到三年,而使用行业模板(如保险业的 ACORD、医疗业的 FHIR)也需要九到十二个月进行裁剪和适配。Vibe Data Modeling 彻底改变了这一流程:从提示到部署的模型仅需数小时,且完全针对您的业务术语、部门和领域定制,摒弃了行业模板的“平均化”缺陷。

该工具的核心在于一个四阶段流水线:理解输入、自顶向下设计模型、连接关系与指标、部署到 Unity Catalog。每个阶段都经过严格验证,确保只有正确的输出才能进入下一阶段。整个系统基于多模型集成:大型思维模型负责推理和审核,大型工作模型负责生成产品和属性,小型模型处理领域分类、标签和数据样本。一个智能裁判使用统一评分标准对多个候选方案进行评估,并在模型失效时自动降级修复,实现自我修复。

Vibe Data Modeling 的可靠性源于其 251 条可执行规则(涵盖 20 个分组)和两个架构师审核阶段——域架构师独立审核每个域,全局架构师审查整个模型的跨域重复、单一事实源违规和结构完整性。规则中的结构性规则是确定性门控,直接读取模型字典,不受 LLM 意见影响;质量分数由规则计算得出,而非 LLM 的自评。流水线中的代理循环确保每次生成都经过验证,失败时会改变策略重试,并有一个单调性守卫防止模型退化。

用户可以通过自然语言进行迭代,每次“vibe”都会生成一个带版本号的新模型,旧版本保持不变,便于审计和回退。变更分为三种模式:精准修改(仅修复指定问题)、全局应用(在所有类似场景生效)和生成式创建(添加新概念)。每次迭代都会产生结构化的验证需求(VREQ),每个需求由沙盒化变异器独立应用并验证,确保变更被准确执行。

从一次运行中,用户可以获得一个完整的模型工件:逻辑模型(model.json)、Unity Catalog 中的物理部署(模式、表、外键、分类标签)、度量视图(可直接用于 AI/BI 仪表板和 Genie)、RDFS 本体、DBML 图、合成样本数据以及下一轮优化的建议列表。所有下游工件都从 model.json 派生,确保逻辑模型与物理部署永不脱节。

Vibe Data Modeling 还提供两个范围选项:最小可行模型(MVM)和扩展覆盖模型(ECM)。MVM 是核心精简版,适合快速启动;ECM 提供全业务覆盖。两者共享同一规则和架构师审核,并支持相互转换。此外,同一逻辑模型可灵活部署为单一目录、按部门划分的目录或按领域划分的目录,适应不同治理需求,无需重建模型。

Vibe Data Modeling 现已可用,作为一个单记事本提供:包含四个小部件,一次运行即可在 Unity Catalog 中部署完整模型。Databricks 强调,这个工具不仅简化了初始建模,还通过六种操作(构建、vibe、缩窄、扩展、安装、生成样本数据)支持模型的持续演化,使银层数据模型真正成为敏捷数据产品的坚实基础。