LlamaParse檢索工具包：面向AI代理的檔案系統原語

LlamaIndex最初作為開源專案，專注於標準化RAG的核心原語：分塊、嵌入、索引和檢索。對於基本的問答工作負載，這一基礎架構運作良好。然而，企業級代理已經徹底超越了這一框架。

傳統的RAG將資料訪問視為靜態的一次性預處理步驟：它只提取少量上下文片段，打包到提示視窗中，然後盲目地期望得到最佳結果。自主代理無法透過模糊的語義搜尋欄來導航非結構化語料庫。它們需要確定性的、系統級的工具，以即時主動地詢問、驗證和遍歷文件。

今天，我們擴充套件了LlamaParse索引，新增了檢索工具包，提供了文件遍歷的檔案系統原語、視覺佈局保留、託管索引和管道可觀測性。

檔案系統原語

純語義搜尋一旦答案跨越任意分塊邊界就會陷入死衚衕。此時，試圖透過讓代理暴力逐檔案遍歷目錄來恢復，會徹底燒燬令牌預算和延遲限制。檢索工具包透過將底層語料庫暴露為一組檔案系統風格的工具來解決此問題，代理可以原生呼叫這些工具：

• 混合檢索：一種高召回率的初步篩選，結合向量相似性和關鍵詞搜尋以及開箱即用的重排序，快速縮小代理的初始搜尋空間。
• 列出檔案：檔案發現。允許代理明確列出索引中包含的檔案，為其提供可用文件結構的清晰地圖。
• 檔案Grep：在目標檔案上執行伺服器端正規表示式掃描。如果代理需要隔離特定的序列號、錯誤程式碼或精確短語，它不會浪費令牌載入無關的語義塊，而是直接對該檔案的解析文本執行正則查詢。
• 檔案讀取：克服分塊碎片化。當top-k塊在句子中間截斷上下文時，代理呼叫直接讀取API，拉取周圍檔案上下文並無縫恢復缺失資料。

視覺佈局保留

對於僅靠文本提取不夠的文件，我們現在在解析時捕獲頁面截圖，並將其直接連結到源分塊。金融表格、監管表單和架構圖中的佈局承載結構含義，若被扁平化為原始文本字串，則會丟失關鍵上下文。當檢索到的文本不足以解決歧義時，代理可以拉取實際的渲染頁面，如同LlamaParse處理的那樣。這使代理的推理直接基於源視覺佈局，防止在密集表格或多欄文件上產生幻覺。

託管基礎設施

設定生產索引管道意味著在編寫一行應用程式碼之前需要做出許多決定：資料來源、嵌入模型、向量儲存、同步邏輯、檢索配置。然後執行它意味著要應對速率限制、API故障和難以診斷的管道中斷。LlamaParse索引現在原生地開箱即用地編排這一基礎設施層。你只需連線文件，平臺便自動提供最佳化的、生產級基線，消除了手動設定的拖累，讓你完全專注於應用。

增量同步：我們跟蹤哪些檔案已更改，僅處理這些檔案。一個包含1000個文件的資料夾若新增50個檔案，下次同步時僅執行這50個檔案透過管道。解析成本和延遲隨實際文件活動而非資料夾大小而擴充套件。

資料可移植性：如果你需要自帶向量儲存或嵌入模型，解析輸出是可下載的。

管道可觀測性

生產檢索管道以不明顯的方式失敗：同步完成，但本應進入索引的分塊卻未出現；一個階段報告正常，而後續階段已無聲停頓。等到檢索質量下降時，失敗已經距離實際發生點好幾步之遙。我們已在LlamaParse索引中構建了原生、逐階段的管道跟蹤。管道的每個階段都有自己的狀態和檔案計數。當同步完成但檔案中索引缺失時，階段計數顯示它們停止的位置。你便能知道是攝取失敗還是工作流失敗，直接修復而無需重構過程。

整合與可用性

檢索工具包及其他更新現已在所有付費層中提供Beta版。所有檔案系統工具都作為輕量級API模式暴露，可直接接入你現有的LLM編排框架或工具呼叫迴圈。

👉 深入文件檢視API規範，或直接從LlamaIndex儀表板初始化你的第一個託管索引。