NVIDIA AI发布Nemotron 3 Embed：开源嵌入集合，8B检查点荣登RTEB榜首

嵌入模型决定了智能体能够看到哪些文本段落。NVIDIA发布了Nemotron 3 Embed模型来优化这一层面，目标是生产级RAG、智能体检索、代码检索和智能体记忆。

什么是Nemotron 3 Embed？

该模型集合包含三个开源检查点：Nemotron-3-Embed-8B-BF16是精度优先的选项；Nemotron-3-Embed-1B-BF16在更小的尺寸下保持了相同的设计；Nemotron-3-Embed-1B-NVFP4是针对Blackwell优化的4位路径。

所有模型均为Transformer编码器，采用双向注意力掩码训练。最终嵌入通过对token级表示进行平均池化获得。每个检查点的最大序列长度为32,768 token。

每个模型在34种语言上进行了评估。所有检查点均采用OpenMDW许可协议1.1版（OpenMDW-1.1）。基础模型基于Mistral：8B模型基于Ministral-3-8B-Instruct-2512，两个1B变体均基于Ministral-3-3B-Instruct-2512。

性能表现

Nemotron-3-Embed-8B-BF16在RTEB（检索嵌入基准）上整体排名第一（截至2026年7月17日），评估涵盖16个公共任务。以下数字均为在模型序列长度4096下的平均NDCG@10。

| 模型 | 参数量 | 嵌入维度 | RTEB | ViDoRe-V3文本 | MMTEB（检索） | |-----------------------------|--------|----------|-------|---------------|---------------| | Nemotron-3-Embed-8B-BF16 | ~8B | 4096 | 78.46 | 60.60 | 75.45 | | Nemotron-3-Embed-1B-BF16 | 1.14B | 2048 | 72.38 | 57.74 | 71.04 | | Nemotron-3-Embed-1B-NVFP4 | 1.14B | 2048 | 72.00 | — | — | | llama-nemotron-embed-vl-1b-v2 | — | — | 61.98 | 52.54 | 59.71 | | llama-nemotron-embed-1b-v2 | — | — | 60.47 | 52.10 | 59.58 |

两个值得注意的差距：1B模型在RTEB上比前一代基线llama-nemotron-embed-vl-1b-v2高出10.4分。此外，NVFP4相比其BF16父模型仅损失0.38 RTEB点，即99.5%的精度保留。

1B模型如何构建？

1B模型的分数并非来自更小的训练，而是通过压缩流水线实现。父模型为nemotron-3-embed-3b，经过两轮迭代剪枝和蒸馏。

首先，使用NVIDIA ModelOpt mcore_minitron神经架构搜索（NAS）将3B父模型剪枝至2B。搜索覆盖隐藏宽度、FFN大小、注意力头数和深度，然后从top-10帕累托前沿选择最佳候选。使用50k领域内校准语料库对这些候选进行评分。

其次，从微调后的8B嵌入教师模型对2B模型进行蒸馏。蒸馏结合了余弦距离损失（COS）和均方误差损失（MSE）。数据混合为多语言且领域内。最后，重复相同过程产生1.14B检查点。

NVFP4服务的权衡

压缩继续延伸到服务格式。量化仅针对线性层的权重和激活，目标数据类型为NVFP4。研究团队使用了nvidia-modelopt v0.45.0。随后进行量化感知蒸馏（QAD），主要目的是恢复长输入上的精度。

校准使用了512个样本：256个查询和256个段落，来自abisee/cnn_dailymail。QAD训练使用了20k样本。

研究团队报告称，在Blackwell上，NVFP4的吞吐量比BF16高出2倍，同时保持99%以上的BF16检索精度。NVFP4还支持动态嵌入大小：可以将2048维向量从起始处切片至1024或512维，之后重新归一化。

交互式解释器：五阶段检索路径

在接触代码之前，可以观看路径动画。它展示了前缀添加、双向编码、平均池化、L2归一化和点积评分。评分来自每个检查点发布的预期输出。

部署矩阵

不同的检查点运行时路径不同。

| 特性 | 8B-BF16 | 1B-BF16 | 1B-NVFP4 | |-----------------------------|---------|---------|----------| | Transformers / Sentence Transformers | 是 | 是 | 否 | | vLLM for /v2/embed | 0.25.0 | 0.25.0 | 0.25.0 | | 微架构 | Ampere, Hopper, Blackwell | Ampere, Hopper, Blackwell | Ampere, Hopper, Lovelace, Blackwell | | 测试硬件 | A100 80GB, H100 80GB | A100 80GB, H100 80GB | GB200, RTX 6000 PRO, A100, H100, L40, L4 | | 训练数据 | 50M+样本 | 8.5M+（蒸馏） | 20k（QAD） |

除了检查点，NVIDIA研究团队还发布了针对1B模型优化的NIM微服务。基于Rust的NIM在GB200和RTX PRO 6000上性能匹配或超越vLLM检查点。NVIDIA测试了输入序列长度256和1024。此外，NVIDIA NeMo AutoModel配方涵盖了微调和蒸馏。

代码使用

首先，查询前缀为query:，文档前缀为passage:。嵌入经过L2归一化，因此点积等于余弦相似度。

# pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer

QUERIES = ["How can someone reduce exposure to pollen during allergy season?"]
DOCUMENTS = ["People with pollen allergy can reduce exposure by staying indoors "
"on dry, windy days, avoiding early-morning outdoor activity, and "
"going outside after rain when pollen levels are lower."]

model = SentenceTransformer(
"nvidia/Nemotron-3-Embed-8B-BF16",
device="cuda",
model_kwargs={"dtype": torch.bfloat16,
"attn_implementation": "flash_attention_2"},
processor_kwargs={"padding_side": "left"},
)
model.max_seq_length = 32768

q = model.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = model.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(model.similarity(q, d))

encode_query和encode_document会自动读取保存的前缀。对于服务，/v2/embed通过input_type应用它们。

应用案例

• 多语言企业搜索：支持团队可以一起索引印地语、日语和英语工单，跨语言检索让德语查询能返回日语解答。
• 代码检索：训练涵盖了coir_apps、coir_cosqa、synthetic_text2sql和SWE-bench，自然语言到代码的查找更加符合分布。
• 智能体记忆：32,768 token的限制让智能体无需激进分块即可嵌入长对话摘要。
• 成本分层RAG：使用1B-NVFP4处理高容量召回，将困难查询路由到8B模型。由于维度不同，需要两个索引。

关键要点

• Nemotron-3-Embed-8B-BF16在RTEB上以78.46平均NDCG@10排名第一。
• 三个开源检查点涵盖8B BF16、1B BF16和1B NVFP4。
• NVFP4在Blackwell上保持99%以上BF16精度，吞吐量提升2倍。
• 1B模型通过ModelOpt NAS剪枝和COS+MSE蒸馏从8B教师得到。
• 所有检查点使用OpenMDW-1.1许可，支持32,768 token输入。

访问Hugging Face上的NVIDIA发布页面、Nemotron 3 Embed集合以及各检查点卡片。欢迎关注我们的Twitter、加入150k+ML SubReddit和订阅Newsletter。