LlamaParse檢索工具包：面向AI代理的文件系統原語

LlamaIndex最初作為開源項目，專注於標準化RAG的核心原語：分塊、嵌入、索引和檢索。對於基本的問答工作負載，這一基礎架構運作良好。然而，企業級代理已經徹底超越了這一框架。

傳統的RAG將數據訪問視為靜態的一次性預處理步驟：它只提取少量上下文片段，打包到提示窗口中，然後盲目地期望得到最佳結果。自主代理無法通過模糊的語義搜索欄來導航非結構化語料庫。它們需要確定性的、系統級的工具，以實時主動地詢問、驗證和遍歷文檔。

今天，我們擴展了LlamaParse索引，新增了檢索工具包，提供了文檔遍歷的文件系統原語、視覺佈局保留、託管索引和管道可觀測性。

文件系統原語

純語義搜索一旦答案跨越任意分塊邊界就會陷入死衚衕。此時，試圖通過讓代理暴力逐文件遍歷目錄來恢復，會徹底燒燬令牌預算和延遲限制。檢索工具包通過將底層語料庫暴露為一組文件系統風格的工具來解決此問題，代理可以原生調用這些工具：

• 混合檢索：一種高召回率的初步篩選，結合向量相似性和關鍵詞搜索以及開箱即用的重排序，快速縮小代理的初始搜索空間。
• 列出文件：文件發現。允許代理明確列出索引中包含的文件，為其提供可用文檔結構的清晰地圖。
• 文件Grep：在目標文件上執行服務器端正則表達式掃描。如果代理需要隔離特定的序列號、錯誤代碼或精確短語，它不會浪費令牌加載無關的語義塊，而是直接對該文件的解析文本執行正則查詢。
• 文件讀取：克服分塊碎片化。當top-k塊在句子中間截斷上下文時，代理調用直接讀取API，拉取周圍文件上下文並無縫恢復缺失數據。

視覺佈局保留

對於僅靠文本提取不夠的文檔，我們現在在解析時捕獲頁面截圖，並將其直接鏈接到源分塊。金融表格、監管表單和架構圖中的佈局承載結構含義，若被扁平化為原始文本字符串，則會丟失關鍵上下文。當檢索到的文本不足以解決歧義時，代理可以拉取實際的渲染頁面，如同LlamaParse處理的那樣。這使代理的推理直接基於源視覺佈局，防止在密集表格或多欄文檔上產生幻覺。

託管基礎設施

設置生產索引管道意味着在編寫一行應用代碼之前需要做出許多決定：數據源、嵌入模型、向量存儲、同步邏輯、檢索配置。然後運行它意味着要應對速率限制、API故障和難以診斷的管道中斷。LlamaParse索引現在原生地開箱即用地編排這一基礎設施層。你只需連接文檔，平台便自動提供優化的、生產級基線，消除了手動設置的拖累，讓你完全專注於應用。

增量同步：我們跟蹤哪些文件已更改，僅處理這些文件。一個包含1000個文檔的文件夾若新增50個文件，下次同步時僅運行這50個文件通過管道。解析成本和延遲隨實際文檔活動而非文件夾大小而擴展。

數據可移植性：如果你需要自帶向量存儲或嵌入模型，解析輸出是可下載的。

管道可觀測性

生產檢索管道以不明顯的方式失敗：同步完成，但本應進入索引的分塊卻未出現；一個階段報告正常，而後續階段已無聲停頓。等到檢索質量下降時，失敗已經距離實際發生點好幾步之遙。我們已在LlamaParse索引中構建了原生、逐階段的管道跟蹤。管道的每個階段都有自己的狀態和文件計數。當同步完成但文件中索引缺失時，階段計數顯示它們停止的位置。你便能知道是攝取失敗還是工作流失敗，直接修復而無需重構過程。

集成與可用性

檢索工具包及其他更新現已在所有付費層中提供Beta版。所有文件系統工具都作為輕量級API模式暴露，可直接接入你現有的LLM編排框架或工具調用循環。

👉 深入文檔查看API規範，或直接從LlamaIndex儀表板初始化你的第一個託管索引。