Introducing Search Toolkit | Mistral AI（中文翻译）
Mistral AI 发布了 Search Toolkit 的公开预览版，这是一个可组合的框架，用于构建 AI 应用的生产级搜索管道。它整合了数据导入、检索和评估三大环节，支持多种部署环境，旨在减少团队在集成维护上的时间投入，提升搜索质量。该工具已在金融、制造、公共部门和媒体娱乐等行业经过实战检验。
文章情报
要点
- Search Toolkit 是一个开源、可组合的搜索框架，支持云端、本地和边缘部署。
- 它统一了数据导入、检索（BM25、密集检索、混合检索）和评估（召回率、精确率、MRR、NDCG）三大环节。
- 适用于企业搜索、RAG 系统检索质量提升以及领域特定检索等场景。
- 提供快速入门模板，可与 Vespa 等后端集成，并支持通过连接器获取实时数据。
为什么重要
这条新闻值得关注，因为Search Toolkit 是一个开源、可组合的搜索框架，支持云端、本地和边缘部署。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
今天，我们发布了 Search Toolkit 的公开预览版。Search Toolkit 是一个可组合的框架，用于构建 AI 应用的生产级搜索管道。我们构建它的原因是，团队在搭建搜索基础设施时仍然在连接工作上花费了过多的工程时间。大多数团队将不同的工具拼凑在一起，用于数据导入、检索和评估，每个工具都有自己的接口和对数据的假设。Search Toolkit 将这三者整合到一个具有统一接口的框架中，从而使团队能够将时间用于改进搜索质量，而不是维护集成。Search Toolkit 是开源的，可以在您的任何基础设施上运行，无论是云端、本地还是边缘环境。
搜索基础设施仍然比应有的情况更困难。
大多数构建检索系统的团队在组装基础设施上花费的时间比改进搜索质量更多。数据导入需要一套工具，检索需要另一套工具，而评估（如果有的话）则是用另一个框架和对数据形状的独立假设拼接而成。
团队报告称，需要数周的集成工作才能对自己的数据运行一次查询。要衡量检索器是否返回正确的结果，通常还需要另一个工具链。对于构建 RAG 工作流或内部知识系统的组织来说，这种开销在每一层都会成倍增加。
适用场景。
企业搜索。大多数组织并没有一个统一的搜索问题，而是面临着一系列搜索问题：内部维基、工单系统、文档仓库、文件存储、代码库。每个数据源都有不同的结构、不同的元数据，需要不同的处理才能进行良好的索引。团队通常不得不为每个数据源构建独立的导入管道，每个管道都有自己的解析逻辑、分块策略以及对“文档”的不同定义。结果是产生了一组孤立的索引，无法进行统一搜索，或者是一个脆弱的自定义层试图统一它们，却变成了自身的维护负担。Search Toolkit 在单个框架内为跨数据源类型提供一致的处理和索引模式，使团队无需每次重建管道就可以添加新的数据源。
RAG 与检索质量。当 RAG 系统返回较差的结果时，第一个问题是：问题出在检索还是生成上？实际上，大多数团队没有干净的方法来回答这个问题。他们调整提示词、改变分块策略、更换模型，却不知道检索器是否首先提供了正确的上下文。即使那些专注于检索的团队，往往也缺乏工具来严格比较不同的策略，在自有数据上使用自己的相关性判断。替代方案是为每个实验编写自定义评估脚本。Search Toolkit 包含内置的评估功能，可以独立衡量检索器的性能，从而使您能够将检索质量与生成质量分开，并随着语料库的演变比较不同配置。
领域特定检索。法律文件、医疗记录、代码库、财务披露。现成的检索器是用通用文本训练的，往往难以处理专业术语、文档结构以及与网络搜索不同的相关性标准。需要领域调优检索的团队通常从零开始构建自定义检索基础设施，这维护成本高且难以评估。
代理世界中的搜索
处理企业任务的代理需要访问企业上下文。它们自主且高量地做出检索决策，因此底层搜索基础设施的质量直接影响每个下游步骤。对于跨大型文档语料库的搜索，代理在索引上执行语义搜索，从而以低延迟获得精确的结果。
代理还需要实时数据。通过连接器，它们可以直接从 CRM、代码仓库和生产力工具等源系统通过 MCP 集成拉取数据。代理可以在需要跨大量内容搜索时查询索引语料库，并在需要最新状态时从源系统拉取实时数据。Search Toolkit 为您的代理提供了高质量索引搜索路径，可与实时检索一起调用。
内部组件。
数据导入。通过可配置的管道从多个数据源索引和处理数据。Search Toolkit 处理文档解析、分块和嵌入生成。自定义文档格式和预处理步骤通过标准适配器接口插入。
检索。Search Toolkit 附带 BM25 稀疏检索、基于密集嵌入的检索以及结合两者的混合配置。每种配置都可针对您的数据和用例进行调整。
评估。使用内置指标（召回率、精确率、MRR 和 NDCG）衡量搜索质量。针对您自己的测试集运行评估，并排比较检索器配置，跟踪不同版本间的质量变化。
所有模块共享一个通用配置接口。替换索引器、交换检索器、添加评估器，管道的其余部分会自动适应。
Search Toolkit 专为高级企业用例设计，并在金融、制造、公共部门和媒体娱乐等多个垂直领域经过实战检验。CMA CGM 使用 Search Toolkit 与 Voxtral 帮助记者检测假新闻。该管道处理来自三个不同数据源的音频，并在 15 秒内端到端返回警报。
观看演示
开始使用。
尝试 Search Toolkit 的最快方法是使用我们的入门应用模板。
先决条件
安装 Docker。此外，在生成的项目中需要使用 uv。
搭建一个新项目
uvx copier copy gh:mistralai/search-starter-app my-search-project
cd my-search-project
运行它
使用 Docker 在本地启动 Vespa
make setup-vespa
索引示例数据
make ingest path=sample_data/hello.txt
运行查询
make search query="hello world"
模板包括：
预配置的 Vespa 索引
混合检索（BM25 + 向量）
示例数据和导入管道
有关详细信息，请参阅入门应用自述文件。
下一步计划
一旦您尝试了入门应用，可以进一步深入：
调优您的导入管道 – 为特定文件类型配置解析器、分块策略、嵌入模型和提取器，以处理您的数据源。
管理 Vespa 模式与相关性 – 针对您的用例优化索引和排序配置文件。
构建您的理想检索 – 利用高级功能，如 LLM 查询重写、重排序和混合检索。
有关完整参考，请参阅 Search Toolkit 文档。
0%