インテリジェント文書処理（IDP）では、文書から情報を抽出する前に、文書クラスごとにスキーマを定義する必要があります。しかし、数千もの文書があり、どのクラスが存在するかわからない場合、手動でスキーマを作成するのは大きな負担です。Amazon Web Servicesが提供するマルチドキュメントディスカバリー機能は、この問題を解決します。これはIDPアクセラレーターの前処理ステップとして機能し、未知の文書を分析し、タイプごとにクラスタリングし、すぐに使えるスキーマを生成します。
この機能の核心的な流れは、埋め込み生成、文書クラスタリング、エージェントによるスキーマ生成、スキーマ分析で構成されます。まず、Amazon Bedrock上の埋め込みモデル（デフォルトはCohere Embed v4）を使用して、各文書をベクトル埋め込みに変換します。複数ページの文書は最初のページのみが処理されます。視覚的埋め込みは、レイアウト、書式、構造的な手がかりを捉えるため、テキスト内容が類似していても文書タイプを区別できます。埋め込みステップでは、画像圧縮、リトライロジック、レート制限などの一般的な問題を自動的に処理します。
次に、k-meansクラスタリングアルゴリズムを使用して文書をグループ化します。システムはシルエットスコアを利用して最適なクラスタ数（k）を自動的に決定し、デフォルトでは2から20の範囲で探索し、最も高いシルエットスコアを持つグループを選択します。各クラスタは少なくとも2つの文書を含む必要があり、必要に応じてkの上限が調整されます。293文書、9タイプのベンチマークデータセットでは、シルエットスコアがk=9で最大となり、真の文書タイプ数と完全に一致し、調整ランド指数と正規化相互情報量がともに1.0、クラスタリング純度100%を達成しました。
クラスタリング後、各クラスタはStrands Agentsエージェントによって分析されます。エージェントはクラスタ分析ツールと文書ビューワーツールを備え、クラスタの中心、周辺、中間から戦略的に文書をサンプリングして多様性を把握します。システムプロンプトに基づき、JSONスキーマとIDPアクセラレーターの設定要件に準拠したスキーマを生成し、型定義、説明、および特定のアノテーション（x-aws-idp-document-typeなど）を含めます。スキーマ分析フェーズでは、各クラスタのスキーマ間の差異と重複を評価し、品質レポートを生成して、クラスタの統合やフィールド定義の改善を提案します。
ユーザーはIDPアクセラレーターコンソールからマルチドキュメントディスカバリーワークフローを実行できます。まず空の設定を作成し、ディスカバリーセクションで「マルチドキュメント」オプションを選択し、文書ソース（S3パスまたはZIPアップロード）を設定して、ディスカバリージョブを開始します。ジョブ完了後、品質レポートにクラスタの詳細とスキーマが表示され、スキーマは自動的にIDPアクセラレーターの設定ファイルに統合されます。ベストプラクティスとして、入力ファイルが単一文書のPDFであることを確認し、品質レポートを注意深くレビューしてクラスタの重複や分布の偏りをチェックすることが推奨されます。この機能により、ラベルなし文書コレクションの処理が大幅に効率化され、IDPプロジェクトの開始が容易になります。