在智能文档处理(IDP)中,从文档提取信息前需要为每个文档类定义模式(schema)。但当面对数千份未知类型的文档时,手动创建模式变得极其耗时。亚马逊云科技推出的多文档发现功能解决了这一难题,它作为IDP加速器的预处理步骤,能够自动分析未知文档、按类型聚类,并生成可直接使用的模式。
该功能的核心流程包括嵌入生成、文档聚类、代理模式生成和模式分析。首先,利用Amazon Bedrock上的嵌入模型(默认使用Cohere Embed v4)将每份文档转换为向量嵌入,仅处理多页文档的第一页。视觉嵌入能够捕捉布局、格式和结构特征,即使文本内容相似也能有效区分文档类型。嵌入步骤自动处理图像压缩、重试逻辑和速率限制等常见问题。
接下来,使用k-means聚类算法对文档进行分组。系统通过轮廓系数自动评估最佳聚类数(k值),默认在2到20之间搜索,选择轮廓系数最高的分组。每个聚类至少需包含两份文档,否则会动态调整k的上限。在包含293份文档、9种类型的基准测试中,轮廓系数在k=9时达到最高,完美匹配真实文档类型数,调整兰德指数和归一化互信息均为1.0,实现了100%的聚类纯度。
聚类完成后,每个聚类由一个Strands Agents代理负责分析。代理配备聚类分析工具和文档查看工具,能够策略性地抽样查看聚类中心、边缘和中间位置的文档,以充分了解变异性。代理根据系统提示生成符合JSON Schema和IDP加速器配置要求的模式,包括类型定义、描述及特定注解(如x-aws-idp-document-type)。模式分析阶段会评估各聚类模式的差异性和重叠,生成质量报告并提出合并或细化建议。
用户可通过IDP加速器控制台运行多文档发现工作流。首先创建空白配置,然后在发现部分选择“多文档”选项,配置文档来源(S3路径或ZIP上传),启动发现作业。作业完成后,自动生成的质量报告显示聚类详情和模式,模式直接集成到IDP加速器配置文件中。最佳实践包括确保输入为单文档PDF,并仔细审查质量报告以避免聚类重叠或分布不均。该功能大幅降低了IDP项目的启动门槛,使处理未标注文档集合更加高效。