什麼是向量搜尋？

向量搜尋是一種根據意義和上下文而非精確關鍵詞匹配來檢索資訊的搜尋技術。它利用嵌入向量（embeddings）來識別相似文本、影像、音訊和其他內容，從而解決了關鍵詞搜尋的侷限性，使系統能夠識別同義詞、跨語言和跨格式搜尋，並檢索相關資訊，適用於RAG、企業搜尋、推薦系統和異常檢測等用例。

向量搜尋的工作原理分為三個階段：建立嵌入、構建索引和匹配查詢。首先，一個模型將每個專案轉換為嵌入向量，即捕捉其意義的數值表示。文件、產品描述、影像和音訊片段都可以這樣表示。意義相似的專案往往具有相似的嵌入。然後，這些嵌入儲存在一個專為快速相似性搜尋而設計的結構中，該索引使得高效搜尋數百萬個專案成為可能。當查詢到達時，它使用相同的模型轉換為嵌入，系統找出與查詢最接近的儲存嵌入並返回相關結果。

生產系統中常用的方法是近似最近鄰（ANN）搜尋，它使用專門的索引來識別可能的匹配項，而無需比較每個專案，從而以犧牲少量精度換取顯著更快的效能，使向量搜尋在大規模下變得實用。

向量搜尋與關鍵詞搜尋各有優勢。關鍵詞搜尋最適合結構化查詢，如訂單ID、產品程式碼和已知文件標題。而向量搜尋處理同義詞、跨語言和跨格式匹配更強。因此，最強的搜尋系統通常結合兩者，形成混合搜尋（hybrid search）。混合搜尋將基於向量和基於關鍵詞的結果融合到一個單一排序中，並常包含重排序步驟，以將最匹配的結果置頂，從而提供更可靠的相關性。

向量搜尋的常見用例包括檢索增強生成（RAG）、語義文件和企業搜尋、推薦系統和相似性搜尋、多模態和跨語言搜尋，以及欺詐和異常檢測。對於RAG，文件被分割成更小的塊，以便系統檢索最相關的段落，而非整個文件。

實施向量搜尋時，並非總是需要專門的向量資料庫。根據規模、效能要求和現有基礎設施，可以使用向量資料庫、帶向量功能的搜尋引擎或相似性搜尋庫。託管服務如Databricks AI Search可減少設定時間和運維開銷，它結合了向量搜尋、關鍵詞搜尋、後設資料過濾和重排序，並與AI治理功能整合。

在生產環境中，向量搜尋系統需要持續的調優和維護。大型向量索引消耗記憶體和計算資源，增加基礎設施成本。索引必須定期重新整理以反映源內容的變化。評估質量時，應構建一個小型測試集，並檢查正確結果是否出現在頂部。後設資料過濾和嵌入模型的選擇對相關性有顯著影響。對於專業領域，使用領域調優模型可以提高檢索質量。