開源提取服務：從非結構化文本中提取結構化數據
LangChain 發佈了一個開源提取服務的託管版本，支持從 PDF、HTML 和文本文件中提取結構化數據。該服務免費使用，但不宜用於生產環境或敏感數據。它允許用户定義提取模式、添加少量示例，並切換不同的 LLM 模型。通過一個簡單的用户界面，開發者可以快速實驗並集成到自己的 LangChain 工作流中。
2024年3月26日，LangChain 宣佈推出其最新的開源用例加速器：一項用於從非結構化來源（如文本和 PDF 文檔）中提取結構化數據的服務。今天，該服務以託管版本的形式公開，並提供簡單的用户界面。該應用程序免費使用，但不宜用於生產工作負載或敏感數據。其目的是展示 2024 年在這一類別中可以實現的功能，並幫助開發者快速上手構建自己的應用程序。
為什麼現在推出？ 結構化數據提取已成為大語言模型的一個寶貴用例，模型能夠推理非結構化文本中的歧義，將信息強制轉化為所需的模式。模型提供商越來越多地支持長上下文窗口和函數調用功能，這兩者都是數據提取的關鍵特性。LangChain 最近改進了對數據提取的支持，使開發者能夠輕鬆處理各種文件類型、模式格式、模型、少量示例和提取方法（例如工具調用、JSON 模式或解析）。託管一個參考應用程序可以讓用户體驗最新的工具，並將其與底層的開源實現聯繫起來。
主要功能包括：支持 PDF、HTML 和文本文件；定義和持久化帶有自定義模式和指令的提取器；添加少量示例用於上下文學習；在用户之間共享提取器；切換 LLM 模型；核心提取邏輯的 LangServe 端點，可接入您自己的 LangChain 工作流；一個前端界面，允許用户用自然語言定義提取模式、與其他用户共享，並在文本或文件上進行測試（目前尚不支持少量示例）。
該博客文章通過一個從 Uber 2023 年第四季度財報電話會議中提取財務數據的示例，詳細演示瞭如何使用該服務。示例代碼展示瞭如何定義 Pydantic 模式、創建提取器、提交 PDF 文件並解析結果。還展示瞭如何通過添加少量示例來改進輸出格式，以及如何通過 LangServe 接口將提取邏輯集成到更大的檢索鏈中。整個流程強調了該服務的易用性和靈活性，並邀請開發者反饋和貢獻。
在示例中，用户首先需要獲取 PDF 文件內容，並生成一個唯一的用户標識符，該標識符控制對提取器和其他工件的訪問。然後，使用 Pydantic 定義一個包含名稱、數值、規模、時間段和證據字段的財務數據結構，並將其發佈到服務器創建一個提取器。接着，通過向提取端點發送請求，從 Uber 的財報 PDF 中提取數據。初始提取結果中，規模字段的輸出與預期格式不符（如“million”而非“MM”），通過添加一個包含示例輸入和期望輸出的少量示例，重新運行後格式得到糾正。此外，服務還提供了 LangServe 客户端接口，允許開發者將提取邏輯作為可運行組件集成到更大的鏈或代理工作流中，例如結合檢索增強生成（RAG）場景，先檢索相關文檔再進行提取。
這一服務展示了 LangChain 在結構化數據提取方面的最新進展，為開發者提供了一個快速試驗和構建提取應用的平台。LangChain 邀請社區提供反饋並貢獻代碼，以進一步改進提取能力。