認識 LEANN：一款將 6000 萬塊 RAG 索引從 201 GB 縮減至 6 GB 的開源向量索引

要點

• LEANN 保存剪枝圖並按查詢需求重算嵌入，使 6000 萬塊索引從 201 GB 降至 6 GB（論文中的 76 GB 語料從 188 GB 降至 4 GB）。
• 在 NQ 上以 90% 召回率匹配 HNSW 的 25.5% 下游準確率，但檢索耗時 2.48 秒，而 HNSW 僅 0.05 秒。
• 採用兩級搜索、動態批處理和高度保留剪枝來加快重算，嵌入重算仍佔約 76% 的查詢延遲。
• 代碼以 MIT 許可發佈，提供文檔、郵件、瀏覽器歷史等即用應用，並可作為 MCP 語義搜索服務器運行。