現代組織越來越希望將分析與人工智能相結合，以加速洞察和決策。Amazon Quick 是一款統一的、基於代理 AI 的分析和決策智能服務，它將數據可視化、自然語言交互和代理驅動的自動化集成在一個受控的體驗中。業務用户無需機器學習專業知識即可探索數據、生成洞察並採取行動。
與此同時，現代數據架構正在向基於開放表格式（如 Apache Iceberg）的可擴展數據湖發展，這些格式提供了更好的性能、成本效益和治理。然而，分析大規模數據通常需要將其移動到數據倉庫或 OLAP 系統中，這會引入延遲、額外成本和操作複雜性。儘管現有的查詢模式（如 Direct Query 和帶有數據倉庫的 SPICE）滿足了大多數分析需求，但客户仍然尋求一種更無縫的方式來直接分析數據湖中的大型實時數據集。
為解決這一問題，Amazon Quick 推出了 Amazon S3 表（Apache Iceberg 表）作為新數據源。藉助此功能，客户可以直接查詢和可視化存儲在 Amazon S3 表桶中的 Apache Iceberg 表，無需中間數據層。這種方法提供了額外的架構選擇，特別是當客户需要減少數據移動、提高性能並維護安全、受控的單一事實來源時。
直接連接 S3 表的好處包括：
- 簡化架構：無需單獨的數據倉庫或 OLAP 層，直接查詢數據湖中的數據，降低操作複雜性和基礎設施開銷。
- 近實時洞察：最小化數據移動和管道依賴，確保儀表板和分析反映最新可用數據。
- 可擴展性能：支持查詢存儲在 Amazon S3 表桶中的大規模數據集，無需數據整理、複製或大小限制，實現無縫擴展。
解決方案概述
通過此次新發布，Amazon Quick 現在支持使用 SPICE 或 Direct Query 模式查詢數據湖。本文重點介紹 Direct Query 模式，但在創建數據集時你也可以選擇 SPICE 模式。
該解決方案幫助 AnyCompany Corp.（一家跨區域處理信用卡交易的全球金融服務組織）實現了近實時分析和決策。交易數據來自多種來源，包括銷售點系統、移動銀行應用、物聯網支付設備和在線網關。為了滿足欺詐檢測、批准率監控和快速訪問可操作洞察的需求，該解決方案結合了流式數據攝取、開放表格式數據湖和 AI 驅動的分析。
交易事件被流式傳輸到 Amazon Kinesis Data Streams，並通過 Amazon Data Firehose 傳遞到 Amazon S3 表桶。藉助 Quick 的原生 S3 表連接器，業務用户可以近實時地查詢數據湖，並使用自然語言交互分析數據，無需依賴批處理。你可以通過這種統一方法即時發現區域欺詐趨勢和批准率等洞察，提高操作可見性，支持更快、數據驅動的決策。
架構概述
該架構由四個核心層組成：數據攝取、存儲、查詢和分析。本文重點介紹查詢和分析層。來自分佈式支付系統的交易事件通過 Amazon Kinesis Data Streams 實時攝取，提供可擴展、低延遲的流式層。這些事件以 Apache Iceberg 格式持續傳遞到 Amazon S3 表桶，形成一個支持流式和分析工作負載的高性能數據湖。雖然傳統上可以通過 Amazon Athena 查詢數據，但 Amazon Quick 允許直接近實時查詢 S3 表，並支持 AI 驅動的自然語言分析。業務用户可以探索實時數據集、生成可視化並獲得洞察——例如識別過去一小時內欺詐率高的地區——無需技術專業知識。這種架構確保決策基於最新數據，支持快速準確的業務行動。
實施步驟
以下步驟讓業務用户使用 Amazon Quick 分析和對話工作負載訪問 Apache Iceberg 表：
步驟 1：啓用 S3 表數據訪問 配置 Amazon Quick 以訪問 S3 表，以便在構建數據源時自動發現。在管理賬户的 AWS 資源設置中選擇 Amazon S3 表，並選擇相關的 S3 表桶。
步驟 2：創建數據源 創建指向 S3 表桶的 Amazon Quick 數據源，選擇 Amazon S3 表（Apache Iceberg 表）類型，輸入名稱和桶 ARN。
步驟 3：構建數據集 使用數據源構建數據集，選擇命名空間和表（如 customer dimension 和 transaction_events），通過 customer_id 列內連接它們，確保選擇 Direct Query 模式以利用近實時訪問。
步驟 4：使用聊天交互 在 Amazon Quick 中通過聊天代理（My Assistant）與數據集交互，使用自然語言查詢如“顯示本月迄今為止發生的交易總數”並查看按天細分。
步驟 5：演示實時流式數據 通過 Lambda 生成流式數據，使用 Kinesis 和 Firehose 將新事件寫入 S3 表桶，聊天響應會自動更新，無需手動刷新，展示近實時數據可用性。
總結
Amazon Quick 的 S3 表數據源通過直接查詢 Apache Iceberg 表消除了中間層，減少了數據移動，並保持了單一受控的事實來源。結合自然語言聊天體驗，用户可輕鬆獲取最新洞察。這種統一的 AI 驅動分析體驗使組織能夠更快行動、做出更好決策，同時保持架構更簡單、可擴展且成本高效。對於不需要近實時訪問的典型分析場景，SPICE 模式仍是合適的選擇。