什麼是向量搜索？

向量搜索是一種根據意義和上下文而非精確關鍵詞匹配來檢索信息的搜索技術。它利用嵌入向量（embeddings）來識別相似文本、圖像、音頻和其他內容，從而解決了關鍵詞搜索的侷限性，使系統能夠識別同義詞、跨語言和跨格式搜索，並檢索相關信息，適用於RAG、企業搜索、推薦系統和異常檢測等用例。

向量搜索的工作原理分為三個階段：創建嵌入、構建索引和匹配查詢。首先，一個模型將每個項目轉換為嵌入向量，即捕捉其意義的數值表示。文檔、產品描述、圖像和音頻片段都可以這樣表示。意義相似的項目往往具有相似的嵌入。然後，這些嵌入存儲在一個專為快速相似性搜索而設計的結構中，該索引使得高效搜索數百萬個項目成為可能。當查詢到達時，它使用相同的模型轉換為嵌入，系統找出與查詢最接近的存儲嵌入並返回相關結果。

生產系統中常用的方法是近似最近鄰（ANN）搜索，它使用專門的索引來識別可能的匹配項，而無需比較每個項目，從而以犧牲少量精度換取顯著更快的性能，使向量搜索在大規模下變得實用。

向量搜索與關鍵詞搜索各有優勢。關鍵詞搜索最適合結構化查詢，如訂單ID、產品代碼和已知文檔標題。而向量搜索處理同義詞、跨語言和跨格式匹配更強。因此，最強的搜索系統通常結合兩者，形成混合搜索（hybrid search）。混合搜索將基於向量和基於關鍵詞的結果融合到一個單一排序中，並常包含重排序步驟，以將最匹配的結果置頂，從而提供更可靠的相關性。

向量搜索的常見用例包括檢索增強生成（RAG）、語義文檔和企業搜索、推薦系統和相似性搜索、多模態和跨語言搜索，以及欺詐和異常檢測。對於RAG，文檔被分割成更小的塊，以便系統檢索最相關的段落，而非整個文檔。

實施向量搜索時，並非總是需要專門的向量數據庫。根據規模、性能要求和現有基礎設施，可以使用向量數據庫、帶向量功能的搜索引擎或相似性搜索庫。託管服務如Databricks AI Search可減少設置時間和運維開銷，它結合了向量搜索、關鍵詞搜索、元數據過濾和重排序，並與AI治理功能集成。

在生產環境中，向量搜索系統需要持續的調優和維護。大型向量索引消耗內存和計算資源，增加基礎設施成本。索引必須定期刷新以反映源內容的變化。評估質量時，應構建一個小型測試集，並檢查正確結果是否出現在頂部。元數據過濾和嵌入模型的選擇對相關性有顯著影響。對於專業領域，使用領域調優模型可以提高檢索質量。