レイクハウスでのデータモデリングの再考：Vibe Data Modeling の紹介

Databricks は本日、Vibe Data Modeling を発表しました。これは Databricks ネイティブで、大規模言語モデル（LLM）を搭載したエージェントであり、プレーンイングリッシュによるビジネスの説明を、即座にデプロイ可能な Silver 層分析データモデルに変換します。従来、Silver モデルを手作業で構築するには 6 ヶ月から 3 年、業界テンプレート（保険の ACORD、医療の FHIR など）を使用しても 9 ヶ月から 12 ヶ月の調整期間が必要でした。Vibe Data Modeling はこのプロセスを根本から変え、プロンプトからデプロイまでの時間を数時間に短縮し、お客様のビジネス用語、部門、ドメインに完全に適合したモデルを提供します。

このツールの核心は、4 段階のパイプラインです。入力を理解し、トップダウンでモデルを設計し、リレーションシップとメトリクスを接続し、Unity Catalog にデプロイします。各段階は厳密に検証され、正しい出力のみが次に進みます。システムはマルチモデルアンサンブルを採用しており、大規模な思考モデルが推論とレビューを担当し、大規模なワーカーモデルが製品と属性の生成を担当し、小規模モデルがドメイン、タグ付け、サンプルデータを処理します。また、ジャッジモデルが統一された評価基準で複数の候補を評価し、障害が発生したモデルを自動的に降格・修復する自己修復機能も備えています。

Vibe Data Modeling の信頼性は、251 の実行可能なルール（20 グループ）と 2 段階のアーキテクトレビューによって支えられています。ドメインアーキテクトは各ドメインを独立してレビューし、グローバルアーキテクトはモデル全体のクロスドメイン重複、単一真実源違反、構造的整合性を審査します。構造ルールは決定論的なゲートであり、モデル辞書を直接読み取るため、LLM の意見に左右されません。品質スコアはルールから計算され、LLM の自己評価ではありません。パイプライン内のエージェントループは、生成のたびに検証を実施し、失敗した場合は戦略を変更して再試行します。また、単調性ガードによりモデルの劣化を防ぎます。

ユーザーは自然言語で反復的に改良できます。各「バイブ」は新しいバージョン番号のモデルを生成し、古いバージョンはそのまま残るため、監査とロールバックが容易です。変更は 3 つのモード（外科的修正、全体的適用、生成的新規作成）から選択でき、それぞれが同一のルールとレビューを受けます。各イテレーションは構造化された検証要件（VREQ）に変換され、サンドボックス化されたミューテーターが独立して適用・検証するため、変更が正確に実行されます。

1 回の実行で、ユーザーは以下の成果物を取得できます。論理モデル（model.json）、Unity Catalog への物理デプロイ（スキーマ、テーブル、外部キー、分類タグ）、メトリックビュー（AI/BI ダッシュボードや Genie で利用可能）、RDFS オントロジー、DBML 図、合成サンプルデータ、および改善提案リスト。すべてのダウンストリーム成果物は model.json から生成されるため、論理モデルと物理デプロイが乖離することはありません。

Vibe Data Modeling は、最小実行可能モデル（MVM）と拡張カバレッジモデル（ECM）の 2 つのスコープオプションを提供します。MVM は迅速な立ち上げに適したコアモデルで、ECM は全ビジネスをカバーします。両者は同一のルールとアーキテクトレビューを共有し、相互変換も可能です。さらに、同一の論理モデルを 1 つのカタログ、部門別のカタログ、またはドメイン別のカタログとして柔軟にデプロイでき、再構築なしでガバナンス要件の変更に対応できます。

Vibe Data Modeling は、単一のノートブックとして利用可能になりました。4 つのウィジェットを備え、1 回の実行で Unity Catalog に完全なモデルをデプロイします。Databricks は、このツールが初期モデリングを簡素化するだけでなく、6 つのオペレーション（構築、バイブ、縮小、拡大、インストール、サンプルデータ生成）を通じてモデルの継続的な進化をサポートし、Silver 層データモデルをアジャイルなデータ製品の強固な基盤にすると強調しています。