Amazon Quick で Agentic Catalog エクスペリエンスを発表

企業がAI駆動型分析を採用するにつれて、自然言語（Text2SQL）回答の価値は、その背後にあるビジネスコンテキスト次第です。私たちは、テーブルやカラムの説明、リレーションシップなどのセマンティックリッチな情報が、上流のデータカタログやセマンティックツールで作成された場所から、エンドユーザーにサービスを提供するAI製品へと直接流れ込む段階に入りつつあります。Amazon Quick のような製品はもはや孤立して動作することはできません。データチームが AWS Glue Data Catalog や Databricks Unity Catalog などのシステムでキュレーションする定義、リレーションシップ、ガバナンスメタデータをネイティブに消費し、推論する必要があります。サイロ化されたメタデータから、接続されたカタログ認識型AIへのこの移行こそが、大規模なインテリジェント分析を可能にするものです。

課題: ラストマイルの橋渡し

投資は完了しています。エンタープライズデータチームは、AWS Glue、Databricks Unity Catalog、Snowflake Horizon、Collibra、dbt などの上流カタログプラットフォームに多大な投資を行ってきました。これらのプラットフォーム上で、テーブル記述、カラムセマンティクス、主キー・外部キー関係、用語集、指標定義を細心の注意を払って定義しています。しかし、営業マネージャー、マーケティングディレクター、財務リーダーなどのエンドユーザーが本番環境対応のAIと信頼できるダッシュボードを利用できるようにする段階では、依然として大きなギャップが残っています。

データキュレーター（BIエンジニア、分析リーダー、シニアアナリスト）がAmazon Quickでビジネスユーザーを有効化しようとする際、3つの複合的な課題に直面します。

発見可能性の制限: エンタープライズカタログには数千のテーブルがあり、レポート用にキュレーションされ承認された適切な上流資産を見つけることは、干し草の山から針を探すようなものです。必要なものを説明してシステムに見つけさせる方法はありません。

セマンティックの断片化と手動再作成: 上流にすでに存在する豊富なメタデータ（テーブルとカラムのビジネス記述、主キー・外部キー関係）は流れてきません。キュレーターはゼロから資産を再作成し、説明を再定義し、定義を手動で調整する必要があります。「収益」とは総額ですか、純額ですか？「アクティブ顧客」とは30日以内の購入ですか、90日以内の購入ですか？これらの定義は上流に存在しますが、手動で再入力する必要があります。

インサイトまでの時間が数週間: 手動の発見と手動の再作成が組み合わさることで、データから実用的なインサイトまでの時間が数時間から数週間に延びます。さらに悪いことに、上流の定義が変更されると、Quick データセットで手動作成されたセマンティクスが陳腐化し、時間の経過とともにAI回答やダッシュボードへの信頼を損なうセマンティックドリフトが発生します。

ギャップの原因は上流にありません。メタデータは存在し、ガバナンスは定義され、リレーションシップはマッピングされています。問題はラストマイルです。豊富なカタログコンテキストを、エンドユーザーが信頼できる grounded AI 回答と決定論的なダッシュボードを提供するキュレーションされた消費可能なエクスペリエンスに変換することです。

Amazon Quick の Agentic Catalog エクスペリエンス

本日、Amazon Quick で Agentic Catalog Experience を発表します。これは、データキュレーターがコンテキスト境界を迅速に定義し、上流のセマンティクスを継承し、スケールで grounded Q&A と信頼できるダッシュボードをエンドユーザーに提供できるようにするAI駆動ワークフローです。

このエクスペリエンスの中心となるのが Quick Agent です。カタログコンテキスト内の検出、作成、継承タスクに範囲が限定されています。セマンティックコンテキストを使用してカタログ全体を一目で要約し、顧客と自然言語で対話し、顧客のユースケースに基づいて最も関連性の高いテーブルと関係を提示し、メタデータの準備状況を評価します。その後、単一の会話による確認で、上流カタログから継承したターゲットメタデータを使用して Catalog-Generated Datasets と Topics を自動作成します。手動設定、コンテキストスイッチング、数週間のセットアップは不要です。

仕組み

自然言語資産発見: キュレーターは数千のテーブルをスクロールする代わりに、自然言語でニーズを記述します。たとえば、「私は財務チームのシニアアナリストです。四半期収益レポートとコスト分析用のテーブルが必要です」といった具合です。Quick Agent は、ビジネス記述、タグ、Gold/Silver/Bronze 分類、品質スコア、テーブルヘルススコア、用語集など、利用可能なすべてのメタデータを使用して、カタログ全体を検索し、最も関連性の高いテーブルを即座に表示します。

一括エージェントデータセット作成: キュレーターがテーブルを選択すると、Quick Agent は単一のガイド付きワークフローでスケールでカタログ表現（データセット）を作成します。デフォルトの作成パスが Direct Query であるため、上流カタログが信頼できるソースのままです。継承されたセマンティクスを持つデータセットには「Semantics Inherited」バッジが明確に表示され、メタデータは読み取り専用です。作成者は必要に応じて同期ボタンを選択して継承メタデータを更新し、カタログとの整合性を保つことができます。

セマンティックと関係の継承: Quick Agent は、カタログのターゲットメタデータを作成した資産に引き継ぎます。現在、継承は意図的に2つの主要領域に焦点を当てています。テーブルとカラムの定義をデータセットに継承し、ビジネス記述とカラム定義をデータセットに直接引き継ぎます。これにより、キュレーターとエンドユーザーは必要なセマンティックコンテキストを得られます。主キーと外部キーの関係をトピックに継承します。エージェントは関係を検出し、それらを使用してスタースキーマやスノーフレークスキーマの結合が事前設定されたマルチデータセット構造（トピック）を提案・作成します。注意：検出ではすべての利用可能なメタデータ（Gold/Silver 分類、品質スコア、タグ、ヘルススコア）が使用されますが、データセットへの継承は現在、意図的にテーブルとカラムの定義に限定されています。今後、データセットに追加のメタデータタイプを追加する予定です。

即時消費: キュレーションされたデータセットとトピックはすぐに使用できます。新しいデータセットで Q&A 会話を開始したり、AI エージェントが継承されたビジネス記述、用語集、品質スコアを使用して grounded な回答を提供します。完全なセマンティックコンテキストがすでに整った状態で決定論的なビジュアライゼーションを作成できます。データセットをスペースに追加して、ビジネスユーザーと共有し、セルフサービス Q&A を実現できます。作成後、これらのデータセットとトピックに関連するメタデータは Amazon Quick セマンティックストアに送られ、AI 駆動の Q&A の再ランキングと統一コンテキストを強化します。カタログ接続から最初のビジネス質問までにかかる時間は、数週間ではなく数分です。

アーキテクチャ: コンシューマーであり、カタログではない

このエクスペリエンスの背後にある重要な設計原則は、Amazon Quick が上流カタログメタデータのコンシューマーであり、専用カタログではないことです。つまり、データの重複はありません。Catalog-Generated Datasets は Direct Query を使用し、データはコピーまたは移動されません。メタデータはコンテキストのために消費されます。Amazon Quick で継承されたセマンティクスは読み取り専用で、セマンティックストアに流れ込み、再ランキングと AI 回答の接地を強化します。上流カタログは引き続き権威あるソースです。手動セマンティック同期: 作成者は同期ボタンを選択して継承メタデータをオンデマンドで更新できます。スケジュールされた自動同期はロードマップにあります。透過性を備えた拡張性: Catalog-Generated Datasets は継承されたセマンティクスを読み取り専用として表示します（カタログ表現としてマーク）。作成者がデータセットを編集することを選択した場合、Amazon Quick は編集によってカスタムデータセットが作成され、セマンティック同期が適用されなくなることを明確に通知します。これにより、デフォルトでカタログの整合性を維持しながら、作成者に完全なコントロールを提供します。

現在サポートされているカタログ

現在サポートされているカタログプラットフォーム: AWS Glue Data Catalog（AWS Identity and Access Management（IAM）Role ARN で認証）および Databricks Unity Catalog（OAuth 2.0 / 個人アクセストークン）。追加のカタログプラットフォームのサポートはまもなく提供予定です。

何が継承されるか

メタデータの継承は意図的に焦点を絞り、データセットをクリーンで本番環境対応に保ちます。データセットへの継承: テーブルのビジネス記述と技術記述、カラムの説明と表示名、データ型と null 許容性、用語集と同義語。トピックへの継承: 主キーと外部キーの関係、関係の定義とカーディナリティ、スタースキーマとスノーフレークスキーマモデル。

エンドユーザーエクスペリエンス

これはダウンストリームのビジネスユーザーにとって何を意味するのでしょうか。営業マネージャーが「第4四半期の地域別売上は？」と尋ねたとします。舞台裏では、AI エージェントはビジネス記述と用語集を使用して Catalog-Generated Datasets を検索し、sales.revenue_by_product テーブル（Gold、品質 98%）を特定し、トピックから事前設定された結合を適用して関連ディメンションを組み合わせ、カタログメタデータから PII マスキングルールを尊重し、数秒で grounded で信頼できる回答を返します。手動のデータセット設定は不要です。キュレーターは Quick Agent でコンテキスト境界を一度定義するだけで、すべてのエンドユーザーがすぐに恩恵を受けられます。

統一されたエンタープライズコンテキスト

Agentic Catalog Experience は単独では存在しません。Amazon Quick のより広範なプラットフォーム機能（Slack、Outlook、ドキュメント、ナレッジベースとの統合）と組み合わせることで、エンドユーザーは完全なエンタープライズコンテキストを得られます。カタログからの構造化データ（Catalog-Generated Datasets 経由）、ドキュメント、電子メール、会話からの非構造化コンテキスト、用語集と指標定義からのビジネスルール。この統一されたコンテキストにより、組織固有のデータとセマンティクスに基づいた、本番環境対応の AI 回答が可能になります。

AWS Glue Data Catalog への接続

Agentic Catalog Experience を使い始めるには、Amazon Quick で AWS Glue Data Catalog へのデータソース接続を作成します。接続を確立すると、Quick Agent が単一の会話ワークフローで検出、スキーマ探索、トピック作成をガイドします。このチュートリアルでは、Glue Data Catalog に接続して Financial Analytics トピックを構築します。Amazon Quick で新しいデータソースを作成し、接続タイプのリストから Glue Data Catalog（プレビュー）を選択して [次へ] を選択します。この接続はメタデータ用です。これにより、Amazon Quick はチームが AWS Glue でキュレーションしたテーブルとカラムの定義、および関係を消費できます。Glue Data Catalog 接続は Amazon Athena 接続と連携します。Glue はメタデータを提供し、Athena は Amazon S3 内のデータ自体へのクエリパスを提供します。Athena データソースも作成して、Amazon Quick が基盤となるデータに対してクエリを実行できるようにします。両方を作成すると、データソースページにメタデータ用の Glue Data Catalog ソースとデータ用の Athena ソースが並んで表示されます。GDC-Demo データソースの詳細ページを開き、[データ接続] で、Amazon Quick がデータのクエリに使用するリンクされた Athena データソースを確認できます。[データの探索] を選択して、このデータソースにスコープされた Quick Agent を起動します。Quick Agent パネルが画面の右側に開き、自動的に Glue Data Catalog データソースにスコープされます。