使用 NVIDIA Nemotron 3 Embed 實現快速準確的檢索

NVIDIA 近日推出了 Nemotron 3 Embed 系列嵌入模型，包括 8B 和 1B 兩個版本，並已在 Baseten 平臺上線。這一系列模型旨在幫助 AI 系統從大量文本和程式碼中高效檢索相關資訊，適用於 AI 智慧體、企業搜尋和程式碼檢索等場景。

嵌入模型是將資料（如文本）轉換為數值向量的技術。這些向量在數學空間中使語義相近的內容彼此靠近，從而支援快速語義搜尋。Nemotron 3 Embed 模型能夠將知識源轉換為嵌入並儲存在向量索引中，當智慧體或程式設計助手需要資訊時，可透過查詢索引找到最相關的上下文。

在實際應用中，智慧體檢索需要從企業知識庫、文件和內部系統中查詢相關資訊，而程式碼檢索則需要從大型程式碼庫中定位檔案、函式和依賴項。檢索質量直接影響到最終答案的準確性。

然而，更大的嵌入模型雖然能產生更高質量的語義表示，但也需要更多的處理時間和硬體資源。在文件更新頻繁的情況下，較慢的索引速度可能導致檢索系統使用過時的知識庫。因此，最佳的嵌入模型並非單純最準確的模型，而是能在檢索質量和索引速度之間取得平衡的模型。

Nemotron 3 Embed 提供了兩個選擇：8B 模型在主流基準測試中達到領先水平，在 RTEB 排行榜上超越所有開源和閉源模型，適用於檢索質量至上的場景；1B 模型則透過剪枝（移除不重要部分）和蒸餾（讓小模型模仿大模型行為）保留了 8B 模型 95% 的準確率，同時大幅降低服務成本和索引延遲。在 NVIDIA Blackwell GPU 上，NVFP4 版本的吞吐量可提升 2 倍，且準確率保持在 BF16 的 99%。

此外，NVIDIA 與 turbopuffer 合作，將 Nemotron 3 Embed 整合到 turbopuffer 的原生嵌入功能中。turbopuffer 是一個面向 AI 應用的向量和全文搜尋引擎，其原生嵌入功能可簡化語義搜尋的工程實現。透過支援多種嵌入模型，turbopuffer 幫助使用者根據用例選擇最佳的檢索質量、速度和成本組合。

對於具有專業術語或特定領域需求的場景，NVIDIA 提供了 Nemotron Embed 微調方案。在 Baseten Training 上執行，領域內微調可在 5 小時內提升約 10% 的準確率。微調後的模型可打包成 Truss 並部署到 Baseten。

目前，兩個 Nemotron 3 Embed 模型已在 Baseten 模型庫中提供專用推理服務，使用者可直接部署到生產環境，無需管理底層基礎設施。開發者可透過 Baseten 建立 API 金鑰，開始為知識源生成嵌入向量。