跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

自動化智慧文件處理的模式生成

文章摘要

本文介紹了多文件發現功能,該功能透過視覺嵌入聚類和智慧代理自動生成文件模式,無需手動分類。它作為IDP加速器的預處理步驟,分析未知文件、按型別聚類並生成模式。文章詳細說明了嵌入生成、聚類、代理模式生成和模式分析的技術細節,並提供了在自有文件集合上執行該解決方案的步驟。

來源AWS Machine Learning Blog作者: Grace Lang
自動化智慧文件處理的模式生成
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在智慧文件處理(IDP)中,從文件提取資訊前需要為每個文件類定義模式(schema)。但當面對數千份未知型別的文件時,手動建立模式變得極其耗時。亞馬遜雲科技推出的多文件發現功能解決了這一難題,它作為IDP加速器的預處理步驟,能夠自動分析未知文件、按型別聚類,並生成可直接使用的模式。

該功能的核心流程包括嵌入生成、文件聚類、代理模式生成和模式分析。首先,利用Amazon Bedrock上的嵌入模型(預設使用Cohere Embed v4)將每份文件轉換為向量嵌入,僅處理多頁文件的第一頁。視覺嵌入能夠捕捉佈局、格式和結構特徵,即使文本內容相似也能有效區分文件型別。嵌入步驟自動處理影像壓縮、重試邏輯和速率限制等常見問題。

接下來,使用k-means聚類演算法對文件進行分組。系統透過輪廓係數自動評估最佳聚類數(k值),預設在2到20之間搜尋,選擇輪廓係數最高的分組。每個聚類至少需包含兩份文件,否則會動態調整k的上限。在包含293份文件、9種型別的基準測試中,輪廓係數在k=9時達到最高,完美匹配真實文件型別數,調整蘭德指數和歸一化互資訊均為1.0,實現了100%的聚類純度。

聚類完成後,每個聚類由一個Strands Agents代理負責分析。代理配備聚類分析工具和文件檢視工具,能夠策略性地抽樣檢視聚類中心、邊緣和中間位置的文件,以充分了解變異性。代理根據系統提示生成符合JSON Schema和IDP加速器配置要求的模式,包括型別定義、描述及特定註解(如x-aws-idp-document-type)。模式分析階段會評估各聚類模式的差異性和重疊,生成質量報告並提出合併或細化建議。

使用者可透過IDP加速器控制台執行多文件發現工作流。首先建立空白配置,然後在發現部分選擇“多文件”選項,配置文件來源(S3路徑或ZIP上傳),啟動發現作業。作業完成後,自動生成的質量報告顯示聚類詳情和模式,模式直接整合到IDP加速器配置檔案中。最佳實踐包括確保輸入為單文件PDF,並仔細審查質量報告以避免聚類重疊或分佈不均。該功能大幅降低了IDP專案的啟動門檻,使處理未標註文件集合更加高效。

展開要點與分析

文章情報

工程師進階

要點

  • 多文件發現功能自動處理未分類文件,透過視覺嵌入進行聚類
  • 使用k-means聚類和輪廓係數自動確定文件型別數量
  • 基於Strands Agents和Amazon Bedrock的代理智慧生成模式
  • 在基準資料集上實現了完美的聚類準確率(ARI和NMI均為1.0)

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。