现代组织越来越希望将分析与人工智能相结合，以加速洞察和决策。Amazon Quick 是一款统一的、基于代理 AI 的分析和决策智能服务，它将数据可视化、自然语言交互和代理驱动的自动化集成在一个受控的体验中。业务用户无需机器学习专业知识即可探索数据、生成洞察并采取行动。
与此同时，现代数据架构正在向基于开放表格式（如 Apache Iceberg）的可扩展数据湖发展，这些格式提供了更好的性能、成本效益和治理。然而，分析大规模数据通常需要将其移动到数据仓库或 OLAP 系统中，这会引入延迟、额外成本和操作复杂性。尽管现有的查询模式（如 Direct Query 和带有数据仓库的 SPICE）满足了大多数分析需求，但客户仍然寻求一种更无缝的方式来直接分析数据湖中的大型实时数据集。
为解决这一问题，Amazon Quick 推出了 Amazon S3 表（Apache Iceberg 表）作为新数据源。借助此功能，客户可以直接查询和可视化存储在 Amazon S3 表桶中的 Apache Iceberg 表，无需中间数据层。这种方法提供了额外的架构选择，特别是当客户需要减少数据移动、提高性能并维护安全、受控的单一事实来源时。
直接连接 S3 表的好处包括：
- 简化架构：无需单独的数据仓库或 OLAP 层，直接查询数据湖中的数据，降低操作复杂性和基础设施开销。
- 近实时洞察：最小化数据移动和管道依赖，确保仪表板和分析反映最新可用数据。
- 可扩展性能：支持查询存储在 Amazon S3 表桶中的大规模数据集，无需数据整理、复制或大小限制，实现无缝扩展。
解决方案概述
通过此次新发布，Amazon Quick 现在支持使用 SPICE 或 Direct Query 模式查询数据湖。本文重点介绍 Direct Query 模式，但在创建数据集时你也可以选择 SPICE 模式。
该解决方案帮助 AnyCompany Corp.（一家跨区域处理信用卡交易的全球金融服务组织）实现了近实时分析和决策。交易数据来自多种来源，包括销售点系统、移动银行应用、物联网支付设备和在线网关。为了满足欺诈检测、批准率监控和快速访问可操作洞察的需求，该解决方案结合了流式数据摄取、开放表格式数据湖和 AI 驱动的分析。
交易事件被流式传输到 Amazon Kinesis Data Streams，并通过 Amazon Data Firehose 传递到 Amazon S3 表桶。借助 Quick 的原生 S3 表连接器，业务用户可以近实时地查询数据湖，并使用自然语言交互分析数据，无需依赖批处理。你可以通过这种统一方法即时发现区域欺诈趋势和批准率等洞察，提高操作可见性，支持更快、数据驱动的决策。
架构概述
该架构由四个核心层组成：数据摄取、存储、查询和分析。本文重点介绍查询和分析层。来自分布式支付系统的交易事件通过 Amazon Kinesis Data Streams 实时摄取，提供可扩展、低延迟的流式层。这些事件以 Apache Iceberg 格式持续传递到 Amazon S3 表桶，形成一个支持流式和分析工作负载的高性能数据湖。虽然传统上可以通过 Amazon Athena 查询数据，但 Amazon Quick 允许直接近实时查询 S3 表，并支持 AI 驱动的自然语言分析。业务用户可以探索实时数据集、生成可视化并获得洞察——例如识别过去一小时内欺诈率高的地区——无需技术专业知识。这种架构确保决策基于最新数据，支持快速准确的业务行动。
实施步骤
以下步骤让业务用户使用 Amazon Quick 分析和对话工作负载访问 Apache Iceberg 表：
步骤 1：启用 S3 表数据访问 配置 Amazon Quick 以访问 S3 表，以便在构建数据源时自动发现。在管理账户的 AWS 资源设置中选择 Amazon S3 表，并选择相关的 S3 表桶。
步骤 2：创建数据源 创建指向 S3 表桶的 Amazon Quick 数据源，选择 Amazon S3 表（Apache Iceberg 表）类型，输入名称和桶 ARN。
步骤 3：构建数据集 使用数据源构建数据集，选择命名空间和表（如 customer dimension 和 transaction_events），通过 customer_id 列内连接它们，确保选择 Direct Query 模式以利用近实时访问。
步骤 4：使用聊天交互 在 Amazon Quick 中通过聊天代理（My Assistant）与数据集交互，使用自然语言查询如“显示本月迄今为止发生的交易总数”并查看按天细分。
步骤 5：演示实时流式数据 通过 Lambda 生成流式数据，使用 Kinesis 和 Firehose 将新事件写入 S3 表桶，聊天响应会自动更新，无需手动刷新，展示近实时数据可用性。
总结
Amazon Quick 的 S3 表数据源通过直接查询 Apache Iceberg 表消除了中间层，减少了数据移动，并保持了单一受控的事实来源。结合自然语言聊天体验，用户可轻松获取最新洞察。这种统一的 AI 驱动分析体验使组织能够更快行动、做出更好决策，同时保持架构更简单、可扩展且成本高效。对于不需要近实时访问的典型分析场景，SPICE 模式仍是合适的选择。