從PDF到AI就緒的結構化資料：深度解析（2024）

PDF檔案在工業和日常生活中無處不在，但將其轉換為可用的結構化資料卻是一大挑戰。隨著視覺語言模型（VLM）的發展，端到端處理PDF任務變得可行，但直接將PDF作為“真相源”會導致操作複雜且單一。本文介紹了一個基於Docling和spaCy的模組化工作流，旨在將PDF及其類似文件轉換為結構化資料，從而簡化自然語言處理（NLP）和資訊提取流程。

核心思路是儘早將資料從PDF中提取出來，使其與來源無關。例如，文本分類任務若依賴PDF，模型需同時處理文件解析、文本提取、嵌入和分類；而一旦移除PDF格式，任務僅需文本分類。Docling由IBM Research團隊開發，採用流水線方式整合檔案解析、佈局分析、OCR、表格結構識別等模組，輸出統一的結構化格式。spaCy Layout擴充套件了spaCy，支援PDF、Word等文件的處理，並輸出基於文本的結構化資料，文件佈局特徵可透過擴充套件屬性訪問。示例程式碼顯示，只需幾行即可處理PDF並獲取文本、佈局和表格資訊。

表格處理是難點之一，因為表格雖為結構化資料，但需結合上下文理解。Docling使用TableFormer模型識別表格，並透過spaCy Layout將其整合到文件文本中。表格可轉換為pandas DataFrame，並支援透過回撥函式自定義其在文本中的表示方式，例如用LLM將表格重述為自然語言，以提升問答或分類任務的效能。

端到端資訊提取方面，工作流支援使用各種NLP技術，包括預訓練模型和微調。資料標註是關鍵環節，Prodigy等工具可輔助高效建立高質量標註資料。研究表明，將複雜任務分解為簡單問題可使標註速度提升10倍。此外，佈局特徵雖看似重要，但實際中其對模型的影響往往小於預期，因此建議根據任務需求謹慎使用。

總之，該工作流為處理PDF文件提供了一種靈活且高效的解決方案，適用於多種行業場景。