在智能文檔處理(IDP)中,從文檔提取信息前需要為每個文檔類定義模式(schema)。但當面對數千份未知類型的文檔時,手動創建模式變得極其耗時。亞馬遜雲科技推出的多文檔發現功能解決了這一難題,它作為IDP加速器的預處理步驟,能夠自動分析未知文檔、按類型聚類,並生成可直接使用的模式。
該功能的核心流程包括嵌入生成、文檔聚類、代理模式生成和模式分析。首先,利用Amazon Bedrock上的嵌入模型(默認使用Cohere Embed v4)將每份文檔轉換為向量嵌入,僅處理多頁文檔的第一頁。視覺嵌入能夠捕捉佈局、格式和結構特徵,即使文本內容相似也能有效區分文檔類型。嵌入步驟自動處理圖像壓縮、重試邏輯和速率限制等常見問題。
接下來,使用k-means聚類算法對文檔進行分組。系統通過輪廓係數自動評估最佳聚類數(k值),默認在2到20之間搜索,選擇輪廓係數最高的分組。每個聚類至少需包含兩份文檔,否則會動態調整k的上限。在包含293份文檔、9種類型的基準測試中,輪廓係數在k=9時達到最高,完美匹配真實文檔類型數,調整蘭德指數和歸一化互信息均為1.0,實現了100%的聚類純度。
聚類完成後,每個聚類由一個Strands Agents代理負責分析。代理配備聚類分析工具和文檔查看工具,能夠策略性地抽樣查看聚類中心、邊緣和中間位置的文檔,以充分了解變異性。代理根據系統提示生成符合JSON Schema和IDP加速器配置要求的模式,包括類型定義、描述及特定註解(如x-aws-idp-document-type)。模式分析階段會評估各聚類模式的差異性和重疊,生成質量報告並提出合併或細化建議。
用户可通過IDP加速器控制台運行多文檔發現工作流。首先創建空白配置,然後在發現部分選擇“多文檔”選項,配置文檔來源(S3路徑或ZIP上傳),啓動發現作業。作業完成後,自動生成的質量報告顯示聚類詳情和模式,模式直接集成到IDP加速器配置文件中。最佳實踐包括確保輸入為單文檔PDF,並仔細審查質量報告以避免聚類重疊或分佈不均。該功能大幅降低了IDP項目的啓動門檻,使處理未標註文檔集合更加高效。