从PDF到AI就绪的结构化数据：深度解析（2024）
本文探讨了将PDF等文档转换为结构化数据的模块化工作流程，利用Docling和spaCy进行文档解析和布局分析，并结合Prodigy进行高效标注，最终实现端到端的信息提取。文章强调了提前将数据从PDF中提取出来的重要性，并展示了如何通过分解任务来简化AI处理。
PDF文件在工业和日常生活中无处不在，但将其转换为可用的结构化数据却是一大挑战。随着视觉语言模型（VLM）的发展，端到端处理PDF任务变得可行，但直接将PDF作为“真相源”会导致操作复杂且单一。本文介绍了一个基于Docling和spaCy的模块化工作流，旨在将PDF及其类似文档转换为结构化数据，从而简化自然语言处理（NLP）和信息提取流程。
核心思路是尽早将数据从PDF中提取出来，使其与来源无关。例如，文本分类任务若依赖PDF，模型需同时处理文档解析、文本提取、嵌入和分类；而一旦移除PDF格式，任务仅需文本分类。Docling由IBM Research团队开发，采用流水线方式整合文件解析、布局分析、OCR、表格结构识别等模块，输出统一的结构化格式。spaCy Layout扩展了spaCy，支持PDF、Word等文档的处理，并输出基于文本的结构化数据，文档布局特征可通过扩展属性访问。示例代码显示，只需几行即可处理PDF并获取文本、布局和表格信息。
表格处理是难点之一，因为表格虽为结构化数据，但需结合上下文理解。Docling使用TableFormer模型识别表格，并通过spaCy Layout将其整合到文档文本中。表格可转换为pandas DataFrame，并支持通过回调函数自定义其在文本中的表示方式，例如用LLM将表格重述为自然语言，以提升问答或分类任务的性能。
端到端信息提取方面，工作流支持使用各种NLP技术，包括预训练模型和微调。数据标注是关键环节，Prodigy等工具可辅助高效创建高质量标注数据。研究表明，将复杂任务分解为简单问题可使标注速度提升10倍。此外，布局特征虽看似重要，但实际中其对模型的影响往往小于预期，因此建议根据任务需求谨慎使用。
总之，该工作流为处理PDF文档提供了一种灵活且高效的解决方案，适用于多种行业场景。