使用 NVIDIA Nemotron 3 Embed 实现快速准确的检索
NVIDIA 发布 Nemotron 3 Embed 系列嵌入模型，提供 8B 和 1B 两种规模，现已在 Baseten 平台上线。8B 模型在检索基准测试中领先，1B 模型通过剪枝和蒸馏保留了 95% 的准确率，同时显著降低延迟和成本。文章还介绍了与 turbopuffer 的合作，以及微调方法。
NVIDIA 近日推出了 Nemotron 3 Embed 系列嵌入模型，包括 8B 和 1B 两个版本，并已在 Baseten 平台上线。这一系列模型旨在帮助 AI 系统从大量文本和代码中高效检索相关信息，适用于 AI 智能体、企业搜索和代码检索等场景。
嵌入模型是将数据（如文本）转换为数值向量的技术。这些向量在数学空间中使语义相近的内容彼此靠近，从而支持快速语义搜索。Nemotron 3 Embed 模型能够将知识源转换为嵌入并存储在向量索引中，当智能体或编程助手需要信息时，可通过查询索引找到最相关的上下文。
在实际应用中，智能体检索需要从企业知识库、文档和内部系统中查找相关信息，而代码检索则需要从大型代码库中定位文件、函数和依赖项。检索质量直接影响到最终答案的准确性。
然而，更大的嵌入模型虽然能产生更高质量的语义表示，但也需要更多的处理时间和硬件资源。在文档更新频繁的情况下，较慢的索引速度可能导致检索系统使用过时的知识库。因此，最佳的嵌入模型并非单纯最准确的模型，而是能在检索质量和索引速度之间取得平衡的模型。
Nemotron 3 Embed 提供了两个选择：8B 模型在主流基准测试中达到领先水平，在 RTEB 排行榜上超越所有开源和闭源模型，适用于检索质量至上的场景；1B 模型则通过剪枝（移除不重要部分）和蒸馏（让小模型模仿大模型行为）保留了 8B 模型 95% 的准确率，同时大幅降低服务成本和索引延迟。在 NVIDIA Blackwell GPU 上，NVFP4 版本的吞吐量可提升 2 倍，且准确率保持在 BF16 的 99%。
此外，NVIDIA 与 turbopuffer 合作，将 Nemotron 3 Embed 集成到 turbopuffer 的原生嵌入功能中。turbopuffer 是一个面向 AI 应用的向量和全文搜索引擎，其原生嵌入功能可简化语义搜索的工程实现。通过支持多种嵌入模型，turbopuffer 帮助用户根据用例选择最佳的检索质量、速度和成本组合。
对于具有专业术语或特定领域需求的场景，NVIDIA 提供了 Nemotron Embed 微调方案。在 Baseten Training 上运行，领域内微调可在 5 小时内提升约 10% 的准确率。微调后的模型可打包成 Truss 并部署到 Baseten。
目前，两个 Nemotron 3 Embed 模型已在 Baseten 模型库中提供专用推理服务，用户可直接部署到生产环境，无需管理底层基础设施。开发者可通过 Baseten 创建 API 密钥，开始为知识源生成嵌入向量。