Introducing Search Toolkit | Mistral AI（中文翻譯）

今天，我們發佈了 Search Toolkit 的公開預覽版。Search Toolkit 是一個可組合的框架，用於構建 AI 應用的生產級搜索管道。我們構建它的原因是，團隊在搭建搜索基礎設施時仍然在連接工作上花費了過多的工程時間。大多數團隊將不同的工具拼湊在一起，用於數據導入、檢索和評估，每個工具都有自己的接口和對數據的假設。Search Toolkit 將這三者整合到一個具有統一接口的框架中，從而使團隊能夠將時間用於改進搜索質量，而不是維護集成。Search Toolkit 是開源的，可以在您的任何基礎設施上運行，無論是雲端、本地還是邊緣環境。

搜索基礎設施仍然比應有的情況更困難。

大多數構建檢索系統的團隊在組裝基礎設施上花費的時間比改進搜索質量更多。數據導入需要一套工具，檢索需要另一套工具，而評估（如果有的話）則是用另一個框架和對數據形狀的獨立假設拼接而成。

團隊報告稱，需要數週的集成工作才能對自己的數據運行一次查詢。要衡量檢索器是否返回正確的結果，通常還需要另一個工具鏈。對於構建 RAG 工作流或內部知識系統的組織來説，這種開銷在每一層都會成倍增加。

適用場景。

企業搜索。大多數組織並沒有一個統一的搜索問題，而是面臨着一系列搜索問題：內部維基、工單系統、文檔倉庫、文件存儲、代碼庫。每個數據源都有不同的結構、不同的元數據，需要不同的處理才能進行良好的索引。團隊通常不得不為每個數據源構建獨立的導入管道，每個管道都有自己的解析邏輯、分塊策略以及對“文檔”的不同定義。結果是產生了一組孤立的索引，無法進行統一搜索，或者是一個脆弱的自定義層試圖統一它們，卻變成了自身的維護負擔。Search Toolkit 在單個框架內為跨數據源類型提供一致的處理和索引模式，使團隊無需每次重建管道就可以添加新的數據源。

RAG 與檢索質量。當 RAG 系統返回較差的結果時，第一個問題是：問題出在檢索還是生成上？實際上，大多數團隊沒有乾淨的方法來回答這個問題。他們調整提示詞、改變分塊策略、更換模型，卻不知道檢索器是否首先提供了正確的上下文。即使那些專注於檢索的團隊，往往也缺乏工具來嚴格比較不同的策略，在自有數據上使用自己的相關性判斷。替代方案是為每個實驗編寫自定義評估腳本。Search Toolkit 包含內置的評估功能，可以獨立衡量檢索器的性能，從而使您能夠將檢索質量與生成質量分開，並隨着語料庫的演變比較不同配置。

領域特定檢索。法律文件、醫療記錄、代碼庫、財務披露。現成的檢索器是用通用文本訓練的，往往難以處理專業術語、文檔結構以及與網絡搜索不同的相關性標準。需要領域調優檢索的團隊通常從零開始構建自定義檢索基礎設施，這維護成本高且難以評估。

代理世界中的搜索

處理企業任務的代理需要訪問企業上下文。它們自主且高量地做出檢索決策，因此底層搜索基礎設施的質量直接影響每個下游步驟。對於跨大型文檔語料庫的搜索，代理在索引上執行語義搜索，從而以低延遲獲得精確的結果。

代理還需要實時數據。通過連接器，它們可以直接從 CRM、代碼倉庫和生產力工具等源系統通過 MCP 集成拉取數據。代理可以在需要跨大量內容搜索時查詢索引語料庫，並在需要最新狀態時從源系統拉取實時數據。Search Toolkit 為您的代理提供了高質量索引搜索路徑，可與實時檢索一起調用。

內部組件。

數據導入。通過可配置的管道從多個數據源索引和處理數據。Search Toolkit 處理文檔解析、分塊和嵌入生成。自定義文檔格式和預處理步驟通過標準適配器接口插入。

檢索。Search Toolkit 附帶 BM25 稀疏檢索、基於密集嵌入的檢索以及結合兩者的混合配置。每種配置都可針對您的數據和用例進行調整。

評估。使用內置指標（召回率、精確率、MRR 和 NDCG）衡量搜索質量。針對您自己的測試集運行評估，並排比較檢索器配置，跟蹤不同版本間的質量變化。

所有模塊共享一個通用配置接口。替換索引器、交換檢索器、添加評估器，管道的其餘部分會自動適應。

Search Toolkit 專為高級企業用例設計，並在金融、製造、公共部門和媒體娛樂等多個垂直領域經過實戰檢驗。CMA CGM 使用 Search Toolkit 與 Voxtral 幫助記者檢測假新聞。該管道處理來自三個不同數據源的音頻，並在 15 秒內端到端返回警報。

觀看演示

開始使用。

嘗試 Search Toolkit 的最快方法是使用我們的入門應用模板。

先決條件

安裝 Docker。此外，在生成的項目中需要使用 uv。

搭建一個新項目

uvx copier copy gh:mistralai/search-starter-app my-search-project

cd my-search-project

運行它

使用 Docker 在本地啓動 Vespa

make setup-vespa

索引示例數據

make ingest path=sample_data/hello.txt

運行查詢

make search query="hello world"

模板包括：

預配置的 Vespa 索引

混合檢索（BM25 + 向量）

示例數據和導入管道

有關詳細信息，請參閲入門應用自述文件。

下一步計劃

一旦您嘗試了入門應用，可以進一步深入：

調優您的導入管道 – 為特定文件類型配置解析器、分塊策略、嵌入模型和提取器，以處理您的數據源。

管理 Vespa 模式與相關性 – 針對您的用例優化索引和排序配置文件。

構建您的理想檢索 – 利用高級功能，如 LLM 查詢重寫、重排序和混合檢索。

有關完整參考，請參閲 Search Toolkit 文檔。

0%