在智慧文件處理(IDP)中,從文件提取資訊前需要為每個文件類定義模式(schema)。但當面對數千份未知型別的文件時,手動建立模式變得極其耗時。亞馬遜雲科技推出的多文件發現功能解決了這一難題,它作為IDP加速器的預處理步驟,能夠自動分析未知文件、按型別聚類,並生成可直接使用的模式。
該功能的核心流程包括嵌入生成、文件聚類、代理模式生成和模式分析。首先,利用Amazon Bedrock上的嵌入模型(預設使用Cohere Embed v4)將每份文件轉換為向量嵌入,僅處理多頁文件的第一頁。視覺嵌入能夠捕捉佈局、格式和結構特徵,即使文本內容相似也能有效區分文件型別。嵌入步驟自動處理影像壓縮、重試邏輯和速率限制等常見問題。
接下來,使用k-means聚類演算法對文件進行分組。系統透過輪廓係數自動評估最佳聚類數(k值),預設在2到20之間搜尋,選擇輪廓係數最高的分組。每個聚類至少需包含兩份文件,否則會動態調整k的上限。在包含293份文件、9種型別的基準測試中,輪廓係數在k=9時達到最高,完美匹配真實文件型別數,調整蘭德指數和歸一化互資訊均為1.0,實現了100%的聚類純度。
聚類完成後,每個聚類由一個Strands Agents代理負責分析。代理配備聚類分析工具和文件檢視工具,能夠策略性地抽樣檢視聚類中心、邊緣和中間位置的文件,以充分了解變異性。代理根據系統提示生成符合JSON Schema和IDP加速器配置要求的模式,包括型別定義、描述及特定註解(如x-aws-idp-document-type)。模式分析階段會評估各聚類模式的差異性和重疊,生成質量報告並提出合併或細化建議。
使用者可透過IDP加速器控制台執行多文件發現工作流。首先建立空白配置,然後在發現部分選擇“多文件”選項,配置文件來源(S3路徑或ZIP上傳),啟動發現作業。作業完成後,自動生成的質量報告顯示聚類詳情和模式,模式直接整合到IDP加速器配置檔案中。最佳實踐包括確保輸入為單文件PDF,並仔細審查質量報告以避免聚類重疊或分佈不均。該功能大幅降低了IDP專案的啟動門檻,使處理未標註文件集合更加高效。