认识 LEANN：一款将 6000 万块 RAG 索引从 201 GB 缩减至 6 GB 的开源向量索引

要点

• LEANN 保存剪枝图并按查询需求重算嵌入，使 6000 万块索引从 201 GB 降至 6 GB（论文中的 76 GB 语料从 188 GB 降至 4 GB）。
• 在 NQ 上以 90% 召回率匹配 HNSW 的 25.5% 下游准确率，但检索耗时 2.48 秒，而 HNSW 仅 0.05 秒。
• 采用两级搜索、动态批处理和高度保留剪枝来加快重算，嵌入重算仍占约 76% 的查询延迟。
• 代码以 MIT 许可发布，提供文档、邮件、浏览器历史等即用应用，并可作为 MCP 语义搜索服务器运行。