Databricksは、AI Searchサービスが従来のDeltaテーブルに加えて、ストリーミングテーブル、マテリアライズドビュー、およびIceberg v3+を使用するマネージドテーブルをネイティブにサポートすることを発表しました。このアップデートにより、ユーザーはリアルタイムのインテリジェンス、パーソナライズされたエクスペリエンス、クロスエンジンのAIアプリケーションを構築する際に、データ形式の変換や同期のための別途パイプラインを管理するオーバーヘッドを削減できます。
これまで、ストリーミングテーブル、マテリアライズドビュー、またはIcebergマネージドテーブルをAI Searchで使用するには、顧客は別途Delta表現を作成し、ソースと同期するためのパイプラインを構築する必要がありました。これにより追加のデータレイヤー、カスタム更新ロジック、および継続的な運用オーバーヘッドが発生していました。今回のネイティブサポートにより、AI Searchはこれらのソースに直接接続し、必要に応じて同期できます。プラットフォームが変更をインデックスに直接伝播するため、中間Deltaテーブルとカスタム同期パイプラインが不要になります。
各テーブル形式は異なるデータの扱い方を表しており、それぞれがAIアプリケーションの新たな可能性を開きます。ストリーミングテーブルは、継続的に到着するイベントに最適です。新しいリスティング、在庫、可用性、ユーザーアクティビティなどの変化するデータが追加専用のストリーミングテーブルに流れ、AI Searchは新しいレコードが到着するたびにインデックスを作成して検索インデックスを最新の状態に保ちます。これにより、最新データが検索エクスペリエンスを直接形成するアプリケーションが可能になります。例えば、ユーザーが検索バーから新しく利用可能になったレストランを発見したり、最近のトレンドに基づいてリアルタイムのレコメンデーションを生成したりできます。
マテリアライズドビューは、イベントを集計し、レコードをフィルタリングし、複数のソースからデータを結合してカスタマイズされた状態を作成できます。基になるデータが変更されると、ビューは増分的に維持され、AI Searchがその変更をインデックスに伝播します。これにより、セッション対応のレコメンデーション、最近のアクティビティに基づく製品やコンテンツの発見、ユーザーの進化する興味や好みに合わせた結果など、パーソナライズされた検索エクスペリエンスが可能になります。
Icebergマネージドテーブルは、別のテーブル形式への変換や移行なしに、AI Searchのソースとして直接使用できます。これにより、オープンフォーマットデータが検索インデックスや他のAIアプリケーションで利用可能になります。オープンフォーマットにより、既存のデータ環境を横断するAIアプリケーションが可能になります。例えば、異なるシステムで管理されている製品カタログを検索したり、複数のIcebergマネージドテーブルに保存されたビジネスまたは顧客データを統合したり、基になるデータを移動せずに大規模な分散データセット上に検索エクスペリエンスを構築したりできます。
UIまたはAPIのいずれを使用しても、AI Searchインデックスの構築は既存のDeltaテーブルソースと同じワークフローに従います。Delta Syncインデックスを作成し、ソーステーブルを指定するだけです。同じワークフローがストリーミングテーブル、マテリアライズドビュー、Icebergテーブルにも拡張され、新しいワークフローを学ぶ必要はありません。Databricksは、追加のデータパイプラインなしで、これらのソースから直接AI Searchインデックスを作成できると述べています。