跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

自动化智能文档处理的模式生成

文章摘要

本文介绍了多文档发现功能,该功能通过视觉嵌入聚类和智能代理自动生成文档模式,无需手动分类。它作为IDP加速器的预处理步骤,分析未知文档、按类型聚类并生成模式。文章详细说明了嵌入生成、聚类、代理模式生成和模式分析的技术细节,并提供了在自有文档集合上运行该解决方案的步骤。

来源AWS Machine Learning Blog作者: Grace Lang
自动化智能文档处理的模式生成
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在智能文档处理(IDP)中,从文档提取信息前需要为每个文档类定义模式(schema)。但当面对数千份未知类型的文档时,手动创建模式变得极其耗时。亚马逊云科技推出的多文档发现功能解决了这一难题,它作为IDP加速器的预处理步骤,能够自动分析未知文档、按类型聚类,并生成可直接使用的模式。

该功能的核心流程包括嵌入生成、文档聚类、代理模式生成和模式分析。首先,利用Amazon Bedrock上的嵌入模型(默认使用Cohere Embed v4)将每份文档转换为向量嵌入,仅处理多页文档的第一页。视觉嵌入能够捕捉布局、格式和结构特征,即使文本内容相似也能有效区分文档类型。嵌入步骤自动处理图像压缩、重试逻辑和速率限制等常见问题。

接下来,使用k-means聚类算法对文档进行分组。系统通过轮廓系数自动评估最佳聚类数(k值),默认在2到20之间搜索,选择轮廓系数最高的分组。每个聚类至少需包含两份文档,否则会动态调整k的上限。在包含293份文档、9种类型的基准测试中,轮廓系数在k=9时达到最高,完美匹配真实文档类型数,调整兰德指数和归一化互信息均为1.0,实现了100%的聚类纯度。

聚类完成后,每个聚类由一个Strands Agents代理负责分析。代理配备聚类分析工具和文档查看工具,能够策略性地抽样查看聚类中心、边缘和中间位置的文档,以充分了解变异性。代理根据系统提示生成符合JSON Schema和IDP加速器配置要求的模式,包括类型定义、描述及特定注解(如x-aws-idp-document-type)。模式分析阶段会评估各聚类模式的差异性和重叠,生成质量报告并提出合并或细化建议。

用户可通过IDP加速器控制台运行多文档发现工作流。首先创建空白配置,然后在发现部分选择“多文档”选项,配置文档来源(S3路径或ZIP上传),启动发现作业。作业完成后,自动生成的质量报告显示聚类详情和模式,模式直接集成到IDP加速器配置文件中。最佳实践包括确保输入为单文档PDF,并仔细审查质量报告以避免聚类重叠或分布不均。该功能大幅降低了IDP项目的启动门槛,使处理未标注文档集合更加高效。

展开要点与分析

文章情报

工程师进阶

要点

  • 多文档发现功能自动处理未分类文档,通过视觉嵌入进行聚类
  • 使用k-means聚类和轮廓系数自动确定文档类型数量
  • 基于Strands Agents和Amazon Bedrock的代理智能生成模式
  • 在基准数据集上实现了完美的聚类准确率(ARI和NMI均为1.0)

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。