跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

自動化智能文檔處理的模式生成

文章摘要

本文介紹了多文檔發現功能,該功能通過視覺嵌入聚類和智能代理自動生成文檔模式,無需手動分類。它作為IDP加速器的預處理步驟,分析未知文檔、按類型聚類並生成模式。文章詳細説明了嵌入生成、聚類、代理模式生成和模式分析的技術細節,並提供了在自有文檔集合上運行該解決方案的步驟。

來源AWS Machine Learning Blog作者: Grace Lang
自動化智能文檔處理的模式生成
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在智能文檔處理(IDP)中,從文檔提取信息前需要為每個文檔類定義模式(schema)。但當面對數千份未知類型的文檔時,手動創建模式變得極其耗時。亞馬遜雲科技推出的多文檔發現功能解決了這一難題,它作為IDP加速器的預處理步驟,能夠自動分析未知文檔、按類型聚類,並生成可直接使用的模式。

該功能的核心流程包括嵌入生成、文檔聚類、代理模式生成和模式分析。首先,利用Amazon Bedrock上的嵌入模型(默認使用Cohere Embed v4)將每份文檔轉換為向量嵌入,僅處理多頁文檔的第一頁。視覺嵌入能夠捕捉佈局、格式和結構特徵,即使文本內容相似也能有效區分文檔類型。嵌入步驟自動處理圖像壓縮、重試邏輯和速率限制等常見問題。

接下來,使用k-means聚類算法對文檔進行分組。系統通過輪廓係數自動評估最佳聚類數(k值),默認在2到20之間搜索,選擇輪廓係數最高的分組。每個聚類至少需包含兩份文檔,否則會動態調整k的上限。在包含293份文檔、9種類型的基準測試中,輪廓係數在k=9時達到最高,完美匹配真實文檔類型數,調整蘭德指數和歸一化互信息均為1.0,實現了100%的聚類純度。

聚類完成後,每個聚類由一個Strands Agents代理負責分析。代理配備聚類分析工具和文檔查看工具,能夠策略性地抽樣查看聚類中心、邊緣和中間位置的文檔,以充分了解變異性。代理根據系統提示生成符合JSON Schema和IDP加速器配置要求的模式,包括類型定義、描述及特定註解(如x-aws-idp-document-type)。模式分析階段會評估各聚類模式的差異性和重疊,生成質量報告並提出合併或細化建議。

用户可通過IDP加速器控制台運行多文檔發現工作流。首先創建空白配置,然後在發現部分選擇“多文檔”選項,配置文檔來源(S3路徑或ZIP上傳),啓動發現作業。作業完成後,自動生成的質量報告顯示聚類詳情和模式,模式直接集成到IDP加速器配置文件中。最佳實踐包括確保輸入為單文檔PDF,並仔細審查質量報告以避免聚類重疊或分佈不均。該功能大幅降低了IDP項目的啓動門檻,使處理未標註文檔集合更加高效。

展開要點與分析

文章情報

工程師進階

要點

  • 多文檔發現功能自動處理未分類文檔,通過視覺嵌入進行聚類
  • 使用k-means聚類和輪廓係數自動確定文檔類型數量
  • 基於Strands Agents和Amazon Bedrock的代理智能生成模式
  • 在基準數據集上實現了完美的聚類準確率(ARI和NMI均為1.0)

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。