使用 NVIDIA Nemotron 3 Embed 實現快速準確的檢索

NVIDIA 近日推出了 Nemotron 3 Embed 系列嵌入模型，包括 8B 和 1B 兩個版本，並已在 Baseten 平台上線。這一系列模型旨在幫助 AI 系統從大量文本和代碼中高效檢索相關信息，適用於 AI 智能體、企業搜索和代碼檢索等場景。

嵌入模型是將數據（如文本）轉換為數值向量的技術。這些向量在數學空間中使語義相近的內容彼此靠近，從而支持快速語義搜索。Nemotron 3 Embed 模型能夠將知識源轉換為嵌入並存儲在向量索引中，當智能體或編程助手需要信息時，可通過查詢索引找到最相關的上下文。

在實際應用中，智能體檢索需要從企業知識庫、文檔和內部系統中查找相關信息，而代碼檢索則需要從大型代碼庫中定位文件、函數和依賴項。檢索質量直接影響到最終答案的準確性。

然而，更大的嵌入模型雖然能產生更高質量的語義表示，但也需要更多的處理時間和硬件資源。在文檔更新頻繁的情況下，較慢的索引速度可能導致檢索系統使用過時的知識庫。因此，最佳的嵌入模型並非單純最準確的模型，而是能在檢索質量和索引速度之間取得平衡的模型。

Nemotron 3 Embed 提供了兩個選擇：8B 模型在主流基準測試中達到領先水平，在 RTEB 排行榜上超越所有開源和閉源模型，適用於檢索質量至上的場景；1B 模型則通過剪枝（移除不重要部分）和蒸餾（讓小模型模仿大模型行為）保留了 8B 模型 95% 的準確率，同時大幅降低服務成本和索引延遲。在 NVIDIA Blackwell GPU 上，NVFP4 版本的吞吐量可提升 2 倍，且準確率保持在 BF16 的 99%。

此外，NVIDIA 與 turbopuffer 合作，將 Nemotron 3 Embed 集成到 turbopuffer 的原生嵌入功能中。turbopuffer 是一個面向 AI 應用的向量和全文搜索引擎，其原生嵌入功能可簡化語義搜索的工程實現。通過支持多種嵌入模型，turbopuffer 幫助用户根據用例選擇最佳的檢索質量、速度和成本組合。

對於具有專業術語或特定領域需求的場景，NVIDIA 提供了 Nemotron Embed 微調方案。在 Baseten Training 上運行，領域內微調可在 5 小時內提升約 10% 的準確率。微調後的模型可打包成 Truss 並部署到 Baseten。

目前，兩個 Nemotron 3 Embed 模型已在 Baseten 模型庫中提供專用推理服務，用户可直接部署到生產環境，無需管理底層基礎設施。開發者可通過 Baseten 創建 API 密鑰，開始為知識源生成嵌入向量。