データレイクとクラウドデータウェアハウスは、現代のデータアーキテクチャにおける2つの中心的な概念ですが、設計思想、適用シナリオ、パフォーマンス特性に大きな違いがあります。本稿は、データサイエンティスト、データエンジニア、分析リーダーが具体的なワークロードに最適なストレージアーキテクチャを選択するための実用的な意思決定フレームワークを提供します。
データレイクは、構造化・半構造化・非構造化を問わず、すべてのデータを元の生の形式で保存する集中型リポジトリです。低コストのクラウドオブジェクトストレージを使用し、スキーマオンリード方式を採用することで、データ取り込み時に構造を事前に定義する必要がなく、データサイエンティストに最大限の柔軟性を提供します。このアーキテクチャは、機械学習、データサイエンス、および将来の未定義の分析ユースケースに最適です。データレイクは拡張性に優れ、1GBあたりのコストがクラウドデータウェアハウスよりもはるかに低く、すべてのデータ形式をサポートします。
一方、クラウドデータウェアハウスは、構造化されたビジネスデータに対する高速な同時SQLクエリに特化したマネージド分析データベースです。スキーマオンライト方式を強制し、データをロードする前にクレンジングおよび型変換が必要です。この制約により、列指向ストレージやクエリ高速化技術（述語プッシュダウン、ゾーンマップ、結果キャッシュ）を積極的に適用でき、サブ秒のクエリパフォーマンスを実現します。このため、ダッシュボード、財務レポート、顧客明細、在庫分析などのビジネスインテリジェンス（BI）ユースケースに最適です。主要なクラウドデータウェアハウス（Amazon Redshift、Google BigQuery、Snowflakeなど）は、コンピュートとストレージを分離しており、高同時実行ワークロードをサポートします。
しかし、クラウドデータウェアハウスは非構造化データ（テキスト、画像、センサーストリームなど）の処理に課題があり、リレーショナルモデルに適合させるには多大な変換作業が必要で、データの欠落や近似が生じることがあります。データレイクは柔軟性に優れますが、トランザクションサポートやBIレベルのクエリパフォーマンスが不足しています。データレイクハウスは、Delta Lakeなどのオープンテーブル形式を基盤として、データレイクストレージ上で直接ACIDトランザクションとBI級のパフォーマンスを提供し、データの重複と2つのシステムのメンテナンスコストを排除します。アナリストは、今後数年でデータレイクハウスがエンタープライズ分析ワークロードの半分以上を占めると予測しています。
コスト面では、データレイクのストレージコストは非常に低く（特にコールドストレージ層）、大規模な生データや履歴データの保存に適しています。一方、クラウドデータウェアハウスはクエリまたはコンピュートユニットごとの課金であり、定期的な高価値ワークロードには費用対効果が高い反面、大規模な探索的クエリには高額になる可能性があります。実際には、多くの組織がコスト効率のためにすべてのデータをデータレイクに格納し、選択したキュレートデータセットを高同時実行BIのためにウェアハウスに移動しています。データレイクハウスは、このデータ重複の問題を解決することを目的としています。
機械学習ワークフローにおいて、データレイクは生データの完全な忠実性を提供し、特徴エンジニアリングとモデルトレーニングに不可欠です。データサイエンティストは、リレーショナルスキーマに制限されることなく、生のトランザクションログ、デバイスフィンガープリント、行動シーケンスにアクセスできます。データウェアハウスは、モデルの推論とスコアリングフェーズ（例えば、構造化テーブルに対するチャーン予測の実行）に貢献します。
結論として、データレイク、クラウドデータウェアハウス、データレイクハウスの選択は具体的なニーズに依存します。生の多形式データを保存し機械学習をサポートする必要がある場合はデータレイク、構造化BIクエリが中心の場合はクラウドデータウェアハウス、MLとBIの両方を統合プラットフォームで実行したい場合はデータレイクハウスが最適です。