Qdrant Blog

AI サービスが一時的に利用できないため、復旧後に翻訳を補完します。ソース概要：Filtered vector search breaks when metadata filters turn a healthy nearest-neighbor graph into scattered islands. HNSW’s m parameter controls how many links each point gets. At Qdrant’s default m=16, the one-million-point collection benchmarked below averaged about 21 links per node on layer 0. Filter out 96% of the points and fewer than one link per node survives on average, so traversal can get stranded before it reaches the true nearest matches.

ほとんどの検索システムはすべてのクエリに単一のパイプラインを使用しますが、これは難しいクエリには十分でなく、簡単なクエリには計算を無駄にします。この記事では、LLMを使わずに弱い検索を検出するための安価なシグナル（スコアの分散や検索器の一致など）を紹介し、必要な場合にのみ選択的にエスカレーションできるようにします。

Qdrant 1.18は、Google Researchが開発した回転ベースのベクトル量子化手法TurboQuantを実装し、実運用の埋め込みに適するよう拡張しました。4ビット、2ビット、1.5ビット、1ビットのオプションを提供し、スカラー量子化(SQ)やバイナリ量子化(BQ)と同等以上の圧縮率と再現率を実現します。本記事では、アルゴリズムの仕組み、Qdrantの拡張（長さの再正規化と座標ごとの較正）、およびベンチマーク結果を解説します。

本記事は5部構成シリーズの第2部で、Amazon ESCIデータセットを使用してModalのサーバーレスGPU上でSPLADEモデルをトレーニングする方法を解説します。データ読み込み、製品テキストのフォーマット、Modalアプリのセットアップ、SPLADEモデルの作成、トレーニング関数、SpladeLoss、YAML設定、並列ハイパーパラメータ探索、および回避すべき落とし穴をカバーしています。

本記事は、eコマース検索におけるスパース埋め込みのファインチューニングに関するシリーズの第1回です。密な埋め込みが製品検索で失敗する理由と、スパース埋め込みが重要な詳細を保持する方法を説明します。SPLADEモデル、クエリ拡張、Qdrantのネイティブスパースベクトルサポートを紹介します。ファインチューニングされたシステムは、Amazon ESCIデータセットでBM25よりも29%向上したパフォーマンスを達成しました。

本記事では、Qdrantの距離行列APIを使用したデータ探索の方法を紹介します。次元削減、クラスタリング、グラフ可視化を通じて、大規模な非構造化データの隠れた構造を発見します。

この記事では、Huong (Celine) HoangがQdrantのSummer of Code 2024プログラムでFastEmbedライブラリにONNXクロスエンコーダを統合した経験を共有します。このプロジェクトにより、関連性スコアを使用した検索結果の再ランク付けが可能になり、コンテキストを意識した検索アプリケーションが強化されました。主な課題には、新しい入出力スキームの構築、トークン化、モデルのロード、テストが含まれます。この機能はFastEmbed 0.4.0で利用可能です。

ベクトルデータベースの基本概念、従来のデータベースとの違い、コアコンポーネント（ID、次元、ペイロード）、アーキテクチャ（コレクション、距離メトリクス、ストレージ）、主要機能（インデックス作成、検索、更新、削除）、および密ベクトルと疎ベクトル、ハイブリッド検索、量子化、分散デプロイ、マルチテナンシー、データセキュリティなどの高度な機能について説明します。

ベクトル量子化は、高次元データのサイズを削減し、メモリ使用量を抑えつつ検索速度を向上させる技術です。この記事では、スカラー量子化、バイナリ量子化、プロダクト量子化の3つの主要手法と、オーバーサンプリングや再スコアリング、io_uringを使った精度とパフォーマンスのバランスについて説明します。

Qdrant 1.7.0 は、キーワードベースの検索を可能にするスパースベクトルのネイティブサポート、より精密なベクトル検索を実現する新しい Discovery API（ディスカバリーサーチとコンテキストサーチ）、ユーザー定義のシャーディングによる柔軟なデータ分散、スナップショットベースのシャード転送による効率的なクラスタースケーリング、およびさまざまなパフォーマンス改善を導入します。

Qdrantは750万ドルのシードラウンドを発表。Unusual Venturesがリードしました。この記事では、AI時代におけるベクターデータベースの重要性、非構造化データの爆発的増加、そしてQdrantのオープンソースベクター類似性検索ソリューションとしての進捗と将来計画について述べています。