Databricksは、運用分析、BI、アプリケーションサービング、オブザーバビリティのワークロード向けに設計された新しいリアルタイムデータウェアハウス、Lakehouse//RTを発表しました。これは、高並行性の下で即時応答を必要とするリアルタイムワークロード向けの画期的な新エンジン「Reyden」によって支えられています。その核心的な約束は、データを別のサービング層にコピーすることなく、リアルタイム性能をレイクハウスに直接もたらすことです。
従来、組織はリアルタイムクエリの需要を満たすために専用のサービング層（インメモリデータベースや特殊なリアルタイムエンジンなど）を導入してきました。読み取りは高速ですが、データをオープンフォーマット（DeltaやIcebergなど）から独自ストレージにコピーする必要があり、データの重複、ガバナンスの分断、エンジニアリングの負担を引き起こします。Databricksは、このコピーが3つの面でコストを生むと指摘します。データ重複（2つ目の取り込みパイプラインと新たな障害モードの維持）、ガバナンス（セキュリティポリシーとビジネスロジックがデータと共に移動せず、2番目の場所で再定義する必要がある）、エンジニアリング（チームが追加クラスタの維持と同期問題のデバッグに追われる）です。さらに悪いことに、クエリが複雑になったり（結合やウィンドウ関数など）、データが大規模化したりすると、専用サービング層は対応できなくなります。
Lakehouse//RTはこれらの問題を解決することを目的としています。プレビュー参加者の報告によると、リアルタイムサービング層と比較して最大16倍の性能向上を実現し、小規模データセットでは10ミリ秒、大規模データセットでは100ミリ秒未満の応答時間を達成しています。標準的な分析ベンチマークでは、Lakehouse//RTは毎秒12,000クエリの負荷下でも100ミリ秒未満のレイテンシを維持します。Databricksは、本当の試練はこの速度がより多くのデータ、より複雑なクエリ、より高い負荷の下でも維持できるかどうかだと強調しています。
Databricksは3つの次元でLakehouse//RTのベンチマーク結果を示しています。
- 負荷時：クエリのスループットが毎秒数件から数千件に増加すると、代替ソリューションは通常、レイテンシが上昇し、最終的にはエンジンが応答しなくなります。Lakehouse//RTは全範囲でフラットを維持し、スループットの増加に伴うレイテンシの犠牲がありません。
- 規模拡大時：TPCHベンチマークに基づき、小規模データセットから1TBまでの規模で、典型的なビジネスレポートクエリ（大規模テーブルスキャン、複数テーブル結合、集計）を実行します。Lakehouse//RTはデータの増加に伴っても低レイテンシを維持しますが、テストした3つの代替案のうち2つは大規模で実行できませんでした。
- 最も複雑なクエリ：TPCDSベンチマークに基づき、深い複数テーブル結合、サブクエリ、ウィンドウ関数を含む複雑なクエリを実行します。Lakehouse//RTはクエリの難易度が上がっても低レイテンシを維持し、ある代替案は最大25倍遅くなり、最大規模では完了できませんでした。
プレビュー顧客は実際のシナリオで同様の性能向上を報告しています。Metaのエンタープライズ分析チームは、典型的なクエリ結果が数十ミリ秒で返り、データはレイク上にあり、別個のシステムが不要であると述べています。SESは宇宙ソリューション企業で、運用ダッシュボードは数十億行のリアルタイムテレメトリデータ上で動作し、高並行性下でミリ秒単位の応答を要求します。同社はLakehouse//RTにより、以前のクエリ時間と比較して20倍高速で、コストはわずかであり、別個のサービング層を運用する必要がなくなったと述べています。Enverusはエネルギー業界のAIおよびデータプラットフォームで、2.7ペタバイトのデータを保有し、クエリは数十ミリ秒で返り、一部のクエリは専用リアルタイムエンジンより100倍高速であると報告しています。
性能に加えて、Lakehouse//RTはアーキテクチャを簡素化します。チームはデータのコピーや移動、追加パイプラインの構築を行う代わりに、単一のアジャイルプラットフォームに依存できます。Magniteはアドテク企業で、そのプラットフォームはリアルタイム性能データのために毎秒数百のクエリを処理します。同社はコアダッシュボードクエリの応答時間が常に200ミリ秒未満であり、それがガバナンスされたレイクハウスデータ上で直接実現されているため、パイプラインとサービングアーキテクチャが大幅に簡素化されると述べています。Ciscoの脅威ルックアップワークロードは一貫した低レイテンシを必要とし、応答時間が5倍改善されたことで、別個のサービングシステムを維持する代わりにレイクハウス上でこれらのワークロードを実行する道が開けました。Halcyon AIのセキュリティチームは数百万のエンドポイントを監視し、重要なクエリは現在約4倍高速でレイクハウス上で直接実行され、別個のキャッシュシステムは不要です。
ガバナンスの面では、Lakehouse//RTは集中化を維持します。セキュリティポリシー、権限、アクセス制御、ビジネスロジックはUnity Catalogを通じて統一的に定義および適用されます。チームはルールを重複させたり、分断されたガバナンスを追跡したりする必要がありません。PointClickCareはヘルスケアテクノロジー企業で、Lakehouse//RTはヘルスケアデータセット上で以前のウェアハウスより平均3分の1以上高速に動作し、一部のワークロードではクエリが10倍高速であることを示しています。同社はレイクハウスアーキテクチャを強化するために専用リアルタイムシステムを検討していましたが、Lakehouse//RTがその必要性を排除し、一貫したガバナンスでネイティブに速度を提供しました。
Bally'sは世界有数のゲーミングおよび宝くじテクノロジーグループで、Unity Catalog下のDelta Lakeに約60TBのデータを持ち、毎日数百万のトランザクションを処理しています。運用チームは秒単位の応答を必要としており、Lakehouse//RTがそれを実現することが期待されています。
全体として、Lakehouse//RTはリアルタイム性能を中央データプラットフォームと統合することでアーキテクチャのトレードオフを排除し、3つの主要な利点をもたらします。リアルタイムの回答、簡素化されたアーキテクチャ、一貫したガバナンスです。最も速く最新の洞察が重要な業界では、Lakehouse//RTは同時クエリ数に関係なく、インサイトまでの時間を大幅に短縮できます。