Search Toolkit の紹介 | Mistral AI（日本語訳）

本日、Search Toolkit のパブリックプレビューをリリースしました。Search Toolkit は、AI アプリケーション向けのプロダクション検索パイプラインを構築するためのコンポーザブルフレームワークです。私たちがこれを構築した理由は、検索インフラを構築するチームが、配管作業に依然として多くのエンジニアリング時間を費やしているからです。ほとんどのチームは、インジェスト、検索、評価のための個別のツールを寄せ集めており、それぞれが独自のインターフェースとデータに関する独自の前提を持っています。Search Toolkit は、これら3つを共有インターフェースを持つ単一のフレームワークにまとめ、チームが統合のメンテナンスに時間を費やすのではなく、検索品質の向上に時間を費やせるようにします。Search Toolkit はオープンソースであり、お客様のインフラがどこにあっても実行できます。クラウド、オンプレミス、エッジのいずれでも動作します。

検索インフラは、まだ本来よりも難しいままです。

検索システムを構築するほとんどのチームは、検索品質の向上よりもインフラの組み立てに多くの時間を費やしています。インジェストにはあるツールセットが必要です。検索には別のツールセットが必要です。評価（もし行われる場合）は、別のフレームワークとデータ形状に関する別の前提で後付けされます。

チームは、自社のデータに対して1つのクエリを実行するまでに数週間の統合作業を要すると報告しています。検索器が正しい結果を返しているかどうかを測定するには、さらに別のツールチェーンが必要になることがよくあります。RAG ワークフローや内部ナレッジシステムを構築している組織にとって、そのオーバーヘッドはあらゆる層で倍増します。

適用範囲。

エンタープライズ検索。ほとんどの組織には単一の検索問題はありません。多数の検索問題があります。内部 wiki、サポートチケットシステム、ドキュメントリポジトリ、ファイルストレージ、コードベース。各ソースは異なる構造、異なるメタデータを持ち、適切にインデックスするために異なる処理を必要とします。チームは通常、それぞれに独自の解析ロジック、独自のチャンキング戦略、そして「ドキュメント」に関する独自の前提を持つ、個別のインジェストパイプラインを構築することになります。その結果、一緒に検索できない孤立したインデックスのセットか、それらを統合しようとする脆弱なカスタムレイヤーが生まれ、それ自体がメンテナンスの負担になります。Search Toolkit は、単一のフレームワーク内でソースタイプ間で一貫した処理とインデックスパターンを提供するため、チームは毎回パイプラインを再構築することなく新しいソースを追加できます。

RAG と検索品質。RAG システムが低品質な結果を返す場合、最初の質問は、問題が検索にあるのか生成にあるのかということです。実際には、ほとんどのチームにはそれを明確に答える方法がありません。彼らはプロンプトを調整し、チャンキング戦略を変更し、モデルを交換しますが、検索器がそもそも適切なコンテキストを表面化しているかどうかを知りません。そして、検索に焦点を当てているチームでさえ、自社のデータと独自の関連性判断を用いて、戦略を厳密に比較するツールを欠いていることがよくあります。代替手段は、実験ごとにカスタム評価スクリプトを書くことです。Search Toolkit には、検索器のパフォーマンスを独立して測定する組み込みの評価機能が含まれているため、検索品質を生成品質から分離し、コーパスの進化に応じて構成を比較できます。

ドメイン固有検索。法的文書、医療記録、コードベース、財務開示。既製の検索器は汎用テキストでトレーニングされており、専門用語、文書構造、およびウェブ検索とは異なる関連性基準に苦労する傾向があります。ドメイン調整された検索を必要とするチームは、多くの場合、カスタム検索インフラをゼロから構築することになり、それは維持が高価で評価が困難です。

エージェント時代の検索

エンタープライズタスクで動作するエージェントは、エンタープライズコンテキストへのアクセスを必要とします。彼らは自律的にかつ大量に検索決定を行うため、その下にある検索インフラの品質は、すべてのダウンストリームステップに直接影響します。大規模なドキュメントコーパス全体を検索する場合、エージェントはインデックス上でセマンティック検索を実行し、低レイテンシで正確な結果を得ます。

エージェントはまた、ライブデータを必要とします。コネクタを使用すると、CRM、コードリポジトリ、プロダクティビティツールなどのソースシステムから MCP 統合を通じて直接データをプルできます。エージェントは、大量のコンテンツを検索する必要がある場合はインデックス化されたコーパスをクエリし、最新の状態が必要な場合はソースシステムからライブデータをプルできます。Search Toolkit は、エージェントに高品質のインデックス検索パスを提供し、ライブ検索と併用できます。

内部構造。

インジェスト。設定可能なパイプラインを使用して、複数のソースからデータをインデックス化および処理します。Search Toolkit は、ドキュメントの解析、チャンキング、および埋め込み生成を処理します。カスタムドキュメント形式と前処理ステップは、標準アダプターインターフェースを通じてプラグインできます。

検索。Search Toolkit には、BM25 スパース検索、高密度埋め込みベースの検索、および両方を組み合わせたハイブリッド構成が付属しています。それぞれをお客様のデータとユースケースに合わせて構成できます。

評価。組み込みのメトリクス（再現率、適合率、MRR、NDCG）で検索品質を測定します。独自のテストセットに対して評価を実行し、検索器の構成を並べて比較し、リリース間の品質を追跡します。

すべてのモジュールは共通の構成インターフェースを共有しています。インデクサーを交換し、検索器を入れ替え、評価器を追加しても、パイプラインの残りの部分は適応します。

Search Toolkit は、エンタープライズ向けの高度なユースケース向けに設計され、金融サービス、製造、公共部門、メディア＆エンターテイメントの各分野で実戦テストされています。CMA CGM は、Search Toolkit を Voxtral と併用して、ジャーナリストが偽ニュースを検出するのを支援しています。パイプラインは、3つの異なるデータソースからのオーディオを処理し、エンドツーエンドで15秒以内にアラートを返します。

デモを見る

始め方。

Search Toolkit を試す最も速い方法は、スターターアプリのテンプレートを使用することです。

前提条件

Docker をインストールします。また、生成されたプロジェクトでは uv が必要です。

新しいプロジェクトのスキャフォールディング

uvx copier copy gh:mistralai/search-starter-app my-search-project

cd my-search-project

実行

Docker でローカルに Vespa を起動

make setup-vespa

サンプルデータをインデックス

make ingest path=sample_data/hello.txt

クエリを実行

make search query="hello world"

テンプレートに含まれるもの：

事前構成された Vespa インデックス

ハイブリッド検索（BM25 + ベクトル）

サンプルデータとインジェストパイプライン

詳細については、スターターアプリの README を参照してください。

今後の展望

スターターアプリをお試しいただいた後は、さらに深く掘り下げてください：

インジェストパイプラインの調整 – 特定のファイルタイプに対して、パーサー、チャンキング戦略、埋め込みモデル、抽出器を構成し、データソースを処理します。

Vespa スキーマと関連性の管理 – ユースケースに合わせてインデックスとランキングプロファイルを最適化します。

理想の検索を構築 – LLM クエリ書き換え、再ランキング、ハイブリッド検索などの高度な機能を活用します。

完全なリファレンスについては、Search Toolkit のドキュメントを参照してください。

0%