現代組織越來越希望將分析與人工智慧相結合，以加速洞察和決策。Amazon Quick 是一款統一的、基於代理 AI 的分析和決策智慧服務，它將資料視覺化、自然語言互動和代理驅動的自動化整合在一個受控的體驗中。業務使用者無需機器學習專業知識即可探索資料、生成洞察並採取行動。
與此同時，現代資料架構正在向基於開放表格式（如 Apache Iceberg）的可擴充套件資料湖發展，這些格式提供了更好的效能、成本效益和治理。然而，分析大規模資料通常需要將其移動到資料倉儲或 OLAP 系統中，這會引入延遲、額外成本和操作複雜性。儘管現有的查詢模式（如 Direct Query 和帶有資料倉儲的 SPICE）滿足了大多數分析需求，但客戶仍然尋求一種更無縫的方式來直接分析資料湖中的大型即時資料集。
為解決這一問題，Amazon Quick 推出了 Amazon S3 表（Apache Iceberg 表）作為新資料來源。藉助此功能，客戶可以直接查詢和視覺化儲存在 Amazon S3 表桶中的 Apache Iceberg 表，無需中間資料層。這種方法提供了額外的架構選擇，特別是當客戶需要減少資料移動、提高效能並維護安全、受控的單一事實來源時。
直接連線 S3 表的好處包括：
- 簡化架構：無需單獨的資料倉儲或 OLAP 層，直接查詢資料湖中的資料，降低操作複雜性和基礎設施開銷。
- 近即時洞察：最小化資料移動和管道依賴，確保儀表板和分析反映最新可用資料。
- 可擴充套件效能：支援查詢儲存在 Amazon S3 表桶中的大規模資料集，無需資料整理、複製或大小限制，實現無縫擴充套件。
解決方案概述
透過此次新發布，Amazon Quick 現在支援使用 SPICE 或 Direct Query 模式查詢資料湖。本文重點介紹 Direct Query 模式，但在建立資料集時你也可以選擇 SPICE 模式。
該解決方案幫助 AnyCompany Corp.（一家跨區域處理信用卡交易的全球金融服務組織）實現了近即時分析和決策。交易資料來自多種來源，包括銷售點系統、移動銀行應用、物聯網支付裝置和線上閘道器。為了滿足欺詐檢測、批准率監控和快速訪問可操作洞察的需求，該解決方案結合了流式資料攝取、開放表格式資料湖和 AI 驅動的分析。
交易事件被流式傳輸到 Amazon Kinesis Data Streams，並透過 Amazon Data Firehose 傳遞到 Amazon S3 表桶。藉助 Quick 的原生 S3 表聯結器，業務使用者可以近即時地查詢資料湖，並使用自然語言互動分析資料，無需依賴批處理。你可以透過這種統一方法即時發現區域欺詐趨勢和批准率等洞察，提高操作可見性，支援更快、資料驅動的決策。
架構概述
該架構由四個核心層組成：資料攝取、儲存、查詢和分析。本文重點介紹查詢和分析層。來自分散式支付系統的交易事件透過 Amazon Kinesis Data Streams 即時攝取，提供可擴充套件、低延遲的流式層。這些事件以 Apache Iceberg 格式持續傳遞到 Amazon S3 表桶，形成一個支援流式和分析工作負載的高效能資料湖。雖然傳統上可以透過 Amazon Athena 查詢資料，但 Amazon Quick 允許直接近即時查詢 S3 表，並支援 AI 驅動的自然語言分析。業務使用者可以探索即時資料集、生成視覺化並獲得洞察——例如識別過去一小時內欺詐率高的地區——無需技術專業知識。這種架構確保決策基於最新資料，支援快速準確的業務行動。
實施步驟
以下步驟讓業務使用者使用 Amazon Quick 分析和對話工作負載訪問 Apache Iceberg 表：
步驟 1：啟用 S3 表資料訪問 配置 Amazon Quick 以訪問 S3 表，以便在構建資料來源時自動發現。在管理賬戶的 AWS 資源設定中選擇 Amazon S3 表，並選擇相關的 S3 表桶。
步驟 2：建立資料來源 建立指向 S3 表桶的 Amazon Quick 資料來源，選擇 Amazon S3 表（Apache Iceberg 表）型別，輸入名稱和桶 ARN。
步驟 3：構建資料集 使用資料來源構建資料集，選擇名稱空間和表（如 customer dimension 和 transaction_events），透過 customer_id 列內連線它們，確保選擇 Direct Query 模式以利用近即時訪問。
步驟 4：使用聊天互動 在 Amazon Quick 中透過聊天代理（My Assistant）與資料集互動，使用自然語言查詢如“顯示本月迄今為止發生的交易總數”並檢視按天細分。
步驟 5：演示即時流式資料 透過 Lambda 生成流式資料，使用 Kinesis 和 Firehose 將新事件寫入 S3 表桶，聊天響應會自動更新，無需手動重新整理，展示近即時資料可用性。
總結
Amazon Quick 的 S3 表資料來源透過直接查詢 Apache Iceberg 表消除了中間層，減少了資料移動，並保持了單一受控的事實來源。結合自然語言聊天體驗，使用者可輕鬆獲取最新洞察。這種統一的 AI 驅動分析體驗使組織能夠更快行動、做出更好決策，同時保持架構更簡單、可擴充套件且成本高效。對於不需要近即時訪問的典型分析場景，SPICE 模式仍是合適的選擇。