今日の組織は、分析とAIを組み合わせてインサイトと意思決定を加速することをますます望んでいます。Amazon Quick は、統一されたエージェント型AI駆動の分析および意思決定インテリジェンスサービスであり、データ可視化、自然言語インタラクション、およびエージェント駆動の自動化を単一のガバナンスされたエクスペリエンスに統合します。ビジネスユーザーは、専門的な機械学習の知識なしでデータを探索し、インサイトを生成し、行動を起こすことができます。
同時に、最新のデータアーキテクチャは、パフォーマンス、コスト効率、ガバナンスが向上した Apache Iceberg などのオープンテーブル形式に基づくスケーラブルなデータレイクへと進化しています。しかし、大規模データの分析には、多くの場合、データをデータウェアハウスやOLAPシステムに移動する必要があり、遅延、追加コスト、運用の複雑さが生じます。既存のクエリモード（データウェアハウスを使用した Direct Query や SPICE）はほとんどの分析ニーズを満たしていますが、顧客はデータレイクから直接大規模なリアルタイムデータセットをよりシームレスに分析する方法を引き続き求めています。
この問題に対処するため、Amazon Quick は新しいデータソースとして Amazon S3 Tables（Apache Iceberg テーブル）を導入しました。この機能により、顧客は中間データ層を必要とせずに、Amazon S3 テーブルバケットに保存された Apache Iceberg テーブルを直接クエリおよび可視化できます。このアプローチは、特にデータ移動を削減し、パフォーマンスを向上させ、安全でガバナンスされた単一の真実の情報源を維持する必要がある場合に、追加のアーキテクチャ上の選択肢を提供します。
S3 Tables に直接接続する利点は次のとおりです。
- 合理化されたアーキテクチャ：データレイク内のデータを直接クエリできるようにすることで、個別のデータウェアハウスやOLAP層が不要になり、運用の複雑さとインフラストラクチャのオーバーヘッドが削減されます。
- ほぼリアルタイムのインサイト：データ移動とパイプラインの依存関係を最小限に抑え、ダッシュボードと分析が利用可能な最新のデータを反映するようにします。
- スケーラブルなパフォーマンス：データのキュレーション、複製、またはサイズ制約を必要とせずに、Amazon S3 テーブルバケットに保存された大規模データセットのクエリをサポートし、シームレスなスケーラビリティを実現します。
ソリューションの概要
この新しいリリースにより、Amazon Quick は SPICE または Direct Query モードのいずれかを使用したデータレイクのクエリをサポートするようになりました。この記事では Direct Query モードに焦点を当てていますが、データセット作成時に SPICE モードを選択することもできます。
このソリューションは、複数の地域でカード取引を処理するグローバル金融サービス組織である AnyCompany Corp. に対して、ほぼリアルタイムの分析と意思決定を可能にします。取引データは、POS システム、モバイルバンキングアプリ、IoT 対応決済デバイス、オンラインゲートウェイなど、さまざまなソースから生成されます。不正検出、承認率監視、実用的なインサイトへの迅速なアクセスのニーズに対応するために、ソリューションはストリーミングデータ取り込み、オープンテーブル形式のデータレイク、AI 駆動の分析を組み合わせて使用します。
トランザクションイベントは Amazon Kinesis Data Streams にストリーミングされ、Amazon Data Firehose を使用して Amazon S3 テーブルバケットに配信されます。Quick のネイティブ S3 Tables コネクタを使用すると、ビジネスユーザーはデータレイクをほぼリアルタイムでクエリし、自然言語インタラクションを使用してデータを分析できるため、バッチ処理への依存がなくなります。この統一されたアプローチを使用して、地域の不正傾向や承認率などのインサイトを即座に明らかにし、運用の可視性を向上させ、より迅速なデータ駆動型の意思決定をサポートできます。
アーキテクチャの概要
アーキテクチャは、データ取り込み、ストレージ、クエリ、分析の4つのコア層で構成されています。この記事では、クエリと分析の層に焦点を当てます。分散型決済システムからのトランザクションイベントは、Amazon Kinesis Data Streams を使用してリアルタイムで取り込まれ、スケーラブルで低遅延のストリーミング層を提供します。これらのイベントは Apache Iceberg 形式で Amazon S3 テーブルバケットに継続的に配信され、ストリーミングと分析の両方のワークロードをサポートする高性能データレイクを形成します。従来は Amazon Athena を通じてデータをクエリできましたが、Amazon Quick は S3 Tables の直接かつほぼリアルタイムのクエリを可能にし、AI 駆動の自然言語分析を有効にします。ビジネスユーザーは、技術的な専門知識なしで、ライブデータセットを探索し、可視化を生成し、過去1時間の不正率が高い地域を特定するなどのインサイトを得ることができます。このアーキテクチャにより、意思決定は最新のデータに基づいて行われ、迅速かつ正確なビジネスアクションをサポートします。
実装手順
ビジネスユーザーが Amazon Quick の分析および会話ワークロードを使用して Apache Iceberg テーブルにアクセスできるようにする手順は次のとおりです。
手順 1：Amazon Quick の S3 Tables データアクセスを有効にする Amazon Quick が S3 Tables にアクセスできるように構成し、データソースの構築時に自動的に検出できるようにします。管理アカウントの AWS リソース設定で Amazon S3 Tables を選択し、関連する S3 テーブルバケットを選択します。
手順 2：S3 Tables を使用して Amazon Quick データソースを作成する S3 テーブルバケットを指す Amazon Quick データソースを作成します。データソースタイプとして Amazon S3 Tables（Apache Iceberg テーブル）を選択し、名前とバケット ARN を入力します。
手順 3：Amazon Quick でデータセットを構築する 作成したデータソースを使用してデータセットを構築します。名前空間とテーブル（例：customer dimension と transaction_events）を選択し、customer_id 列を使用して内部結合します。ニアリアルタイムアクセスを活用するために Direct Query モードが選択されていることを確認します。
手順 4：Amazon Quick チャットを使用してデータセットと対話する Amazon Quick のチャットエージェント（My Assistant）を介してデータセットと対話し、「今月これまでに発生したトランザクションの総数を表示」などの自然言語クエリを使用し、日ごとの内訳を表示します。
手順 5：ストリーミングデータによるリアルタイムユーザー対話をデモンストレーションする Lambda を使用してストリーミングデータを生成し、Kinesis と Firehose を使用して新しいイベントを S3 テーブルバケットに書き込みます。チャットの応答は自動的に更新され、手動更新なしでほぼリアルタイムのデータ可用性を示します。
まとめ
この記事では、Amazon Quick の新しい Amazon S3 Tables データソースが、最新のデータアーキテクチャを合理化しながら、ほぼリアルタイムの分析をどのように可能にするかを説明しました。Apache Iceberg テーブルを Amazon S3 で直接クエリすることで、中間層を排除し、データ移動を削減し、単一のガバナンスされた真実の情報源を維持します。さらに、My Assistant のような自然言語チャットエクスペリエンスを使用して、手動更新や技術的なオーバーヘッドなしで最新のインサイトに簡単にアクセスできます。
その結果、データ、インサイト、アクションがほぼリアルタイムでシームレスに統合される、統一された AI 駆動の分析エクスペリエンスが実現します。組織はより迅速に行動し、より適切な意思決定を行い、データの全価値を引き出すことができ、同時にアーキテクチャをよりシンプルでスケーラブル、かつコスト効率の高いものに保つことができます。定期的なデータ更新をソースとする典型的な分析シナリオで、ほぼリアルタイムのアクセスが必要ない場合は、SPICE モードが引き続き適切なオプションです。