Databricks は本日、Lakebase Change Data Feed (CDF) のパブリックプレビューを発表しました。これは、運用データベースの変更データキャプチャ（CDC）を Lakehouse に直接統合する画期的な機能であり、Unity Catalog で管理され、複雑なパイプラインを必要とせずにすべてのエンジン、モデル、エージェントがデータを読み取ることができます。
従来、運用データベースからデータをデータレイクに移行するには、ソースと宛先ごとにパイプラインを設定し監視する必要があり、多くのチームにとって脆弱でガバナンスが効かず、人的労力が線形に増加するものでした。Lakebase CDF はこのアプローチを根本から変えます。フィードを一度有効にすれば、追加の抽出、変換、ロード（ETL）パイプラインなしで、すべてのエンジン、モデル、エージェントが直接データを読み取れるようになります。これにより、運用データがリアルタイムかつ効率的に Lakehouse に取り込まれ、データの整合性とトレーサビリティが確保されます。
なぜ運用データをレイクに取り込むことが未だに難しいのでしょうか？Lakeflow Connect により Lakehouse へのデータ取り込みは容易になりましたが、OLTP データベースからのデータ抽出は依然として手動で摩擦の大きいプロセスです。CDC の抽出には、データベースコネクタの設定、レプリケーション状態の監視、パフォーマンスへの影響の軽減、および断片化されたツールでのエラー追跡が必要です。このモデルは、迅速なデータ分岐に依存するエージェントファースト開発では機能しません。新しいブランチごとに宛先ごとの複雑でガバナンスのかかっていない抽出パイプラインを維持することは持続不可能です。
Lakehouse ではこの問題を解決済みです。そして今、それを Lakebase に導入します。Lakehouse は、Apache Iceberg や Delta Lake などのオープンフォーマットでデータを一度保存することで、分析用の抽出パイプラインを排除し、Change Data Feed (CDF) をダウンストリームレプリケーションの標準として確立し、ETL、ストリーミングワークフロー、監査ログを支えています。ユーザーは Lakebase 上でネイティブに CDF を設定できるようになりました。有効化は 1 分未満で、プロジェクト内のすべてのテーブルに適用されます。この単一フィードから、SDP を使用したストリーミングパイプラインの構築、DBSQL を使用したマテリアライズドビューの生成、AgentBricks を使用した埋め込みの計算と保存が可能です。すべてのダウンストリームコンシューマは完全に同一のフィードをサブスクライブし、プライマリ運用ワークロードから分離されます。
運用データベースはメダリオンアーキテクチャにおいて重要な役割を果たします。Synced Tables により、Gold データセットをアプリケーションに直接提供するパターンが確立されました。Lakebase CDF はこのアーキテクチャを完成させます。運用データベースはネイティブな Bronze レイヤーとなり、Lakehouse にデータを取り込むための個別のパイプラインや抽出ジョブが不要になります。代わりに、Unity Catalog を通じてデータライフサイクル全体の完全なガバナンスとリネージが得られます。これは始まりに過ぎません。Databricks は Lakehouse のオープン性を Lakebase に直接もたらしています。詳細は Data and AI Summit で発表される予定です。また、このアーキテクチャに関するブレイクアウトセッション「Zero-ETL was just the start: Operational Databases belong in the Medallion Architecture」にもぜひご参加ください。