從PDF到AI就緒的結構化數據：深度解析（2024）
本文探討了將PDF等文檔轉換為結構化數據的模塊化工作流程，利用Docling和spaCy進行文檔解析和佈局分析，並結合Prodigy進行高效標註，最終實現端到端的信息提取。文章強調了提前將數據從PDF中提取出來的重要性，並展示瞭如何通過分解任務來簡化AI處理。
PDF文件在工業和日常生活中無處不在，但將其轉換為可用的結構化數據卻是一大挑戰。隨着視覺語言模型（VLM）的發展，端到端處理PDF任務變得可行，但直接將PDF作為“真相源”會導致操作複雜且單一。本文介紹了一個基於Docling和spaCy的模塊化工作流，旨在將PDF及其類似文檔轉換為結構化數據，從而簡化自然語言處理（NLP）和信息提取流程。
核心思路是儘早將數據從PDF中提取出來，使其與來源無關。例如，文本分類任務若依賴PDF，模型需同時處理文檔解析、文本提取、嵌入和分類；而一旦移除PDF格式，任務僅需文本分類。Docling由IBM Research團隊開發，採用流水線方式整合文件解析、佈局分析、OCR、表格結構識別等模塊，輸出統一的結構化格式。spaCy Layout擴展了spaCy，支持PDF、Word等文檔的處理，並輸出基於文本的結構化數據，文檔佈局特徵可通過擴展屬性訪問。示例代碼顯示，只需幾行即可處理PDF並獲取文本、佈局和表格信息。
表格處理是難點之一，因為表格雖為結構化數據，但需結合上下文理解。Docling使用TableFormer模型識別表格，並通過spaCy Layout將其整合到文檔文本中。表格可轉換為pandas DataFrame，並支持通過回調函數自定義其在文本中的表示方式，例如用LLM將表格重述為自然語言，以提升問答或分類任務的性能。
端到端信息提取方面，工作流支持使用各種NLP技術，包括預訓練模型和微調。數據標註是關鍵環節，Prodigy等工具可輔助高效創建高質量標註數據。研究表明，將複雜任務分解為簡單問題可使標註速度提升10倍。此外，佈局特徵雖看似重要，但實際中其對模型的影響往往小於預期，因此建議根據任務需求謹慎使用。
總之，該工作流為處理PDF文檔提供了一種靈活且高效的解決方案，適用於多種行業場景。