Introducing Search Toolkit | Mistral AI（中文翻譯）

今天，我們釋出了 Search Toolkit 的公開預覽版。Search Toolkit 是一個可組合的框架，用於構建 AI 應用的生產級搜尋管道。我們構建它的原因是，團隊在搭建搜尋基礎設施時仍然在連線工作上花費了過多的工程時間。大多數團隊將不同的工具拼湊在一起，用於資料匯入、檢索和評估，每個工具都有自己的介面和對資料的假設。Search Toolkit 將這三者整合到一個具有統一介面的框架中，從而使團隊能夠將時間用於改進搜尋質量，而不是維護整合。Search Toolkit 是開源的，可以在您的任何基礎設施上執行，無論是雲端、本地還是邊緣環境。

搜尋基礎設施仍然比應有的情況更困難。

大多數構建檢索系統的團隊在組裝基礎設施上花費的時間比改進搜尋質量更多。資料匯入需要一套工具，檢索需要另一套工具，而評估（如果有的話）則是用另一個框架和對資料形狀的獨立假設拼接而成。

團隊報告稱，需要數週的整合工作才能對自己的資料執行一次查詢。要衡量檢索器是否返回正確的結果，通常還需要另一個工具鏈。對於構建 RAG 工作流或內部知識系統的組織來說，這種開銷在每一層都會成倍增加。

適用場景。

企業搜尋。大多陣列織並沒有一個統一的搜尋問題，而是面臨著一系列搜尋問題：內部維基、工單系統、文件倉庫、檔案儲存、程式碼庫。每個資料來源都有不同的結構、不同的後設資料，需要不同的處理才能進行良好的索引。團隊通常不得不為每個資料來源構建獨立的匯入管道，每個管道都有自己的解析邏輯、分塊策略以及對“文件”的不同定義。結果是產生了一組孤立的索引，無法進行統一搜尋，或者是一個脆弱的自定義層試圖統一它們，卻變成了自身的維護負擔。Search Toolkit 在單個框架內為跨資料來源型別提供一致的處理和索引模式，使團隊無需每次重建管道就可以新增新的資料來源。

RAG 與檢索質量。當 RAG 系統返回較差的結果時，第一個問題是：問題出在檢索還是生成上？實際上，大多數團隊沒有乾淨的方法來回答這個問題。他們調整提示詞、改變分塊策略、更換模型，卻不知道檢索器是否首先提供了正確的上下文。即使那些專注於檢索的團隊，往往也缺乏工具來嚴格比較不同的策略，在自有資料上使用自己的相關性判斷。替代方案是為每個實驗編寫自定義評估指令碼。Search Toolkit 包含內建的評估功能，可以獨立衡量檢索器的效能，從而使您能夠將檢索質量與生成質量分開，並隨著語料庫的演變比較不同配置。

領域特定檢索。法律檔案、醫療記錄、程式碼庫、財務披露。現成的檢索器是用通用文本訓練的，往往難以處理專業術語、文件結構以及與網路搜尋不同的相關性標準。需要領域調優檢索的團隊通常從零開始構建自定義檢索基礎設施，這維護成本高且難以評估。

代理世界中的搜尋

處理企業任務的代理需要訪問企業上下文。它們自主且高量地做出檢索決策，因此底層搜尋基礎設施的質量直接影響每個下游步驟。對於跨大型文件語料庫的搜尋，代理在索引上執行語義搜尋，從而以低延遲獲得精確的結果。

代理還需要即時資料。透過聯結器，它們可以直接從 CRM、程式碼倉庫和生產力工具等源系統透過 MCP 整合拉取資料。代理可以在需要跨大量內容搜尋時查詢索引語料庫，並在需要最新狀態時從源系統拉取即時資料。Search Toolkit 為您的代理提供了高質量索引搜尋路徑，可與即時檢索一起呼叫。

內部元件。

資料匯入。透過可配置的管道從多個資料來源索引和處理資料。Search Toolkit 處理文件解析、分塊和嵌入生成。自定義文件格式和預處理步驟透過標準介面卡介面插入。

檢索。Search Toolkit 附帶 BM25 稀疏檢索、基於密集嵌入的檢索以及結合兩者的混合配置。每種配置都可針對您的資料和用例進行調整。

評估。使用內建指標（召回率、精確率、MRR 和 NDCG）衡量搜尋質量。針對您自己的測試集執行評估，並排比較檢索器配置，跟蹤不同版本間的質量變化。

所有模組共享一個通用配置介面。替換索引器、交換檢索器、新增評估器，管道的其餘部分會自動適應。

Search Toolkit 專為高階企業用例設計，並在金融、製造、公共部門和媒體娛樂等多個垂直領域經過實戰檢驗。CMA CGM 使用 Search Toolkit 與 Voxtral 幫助記者檢測假新聞。該管道處理來自三個不同資料來源的音訊，並在 15 秒內端到端返回警報。

觀看演示

開始使用。

嘗試 Search Toolkit 的最快方法是使用我們的入門應用模板。

先決條件

安裝 Docker。此外，在生成的專案中需要使用 uv。

搭建一個新專案

uvx copier copy gh:mistralai/search-starter-app my-search-project

cd my-search-project

執行它

使用 Docker 在本地啟動 Vespa

make setup-vespa

索引示例資料

make ingest path=sample_data/hello.txt

執行查詢

make search query="hello world"

模板包括：

預配置的 Vespa 索引

混合檢索（BM25 + 向量）

示例資料和匯入管道

有關詳細資訊，請參閱入門應用自述檔案。

下一步計劃

一旦您嘗試了入門應用，可以進一步深入：

調優您的匯入管道 – 為特定檔案型別配置解析器、分塊策略、嵌入模型和提取器，以處理您的資料來源。

管理 Vespa 模式與相關性 – 針對您的用例最佳化索引和排序配置檔案。

構建您的理想檢索 – 利用高階功能，如 LLM 查詢重寫、重排序和混合檢索。

有關完整參考，請參閱 Search Toolkit 文件。

0%