NVIDIA AI發佈Nemotron 3 Embed：開源嵌入集合，8B檢查點榮登RTEB榜首

嵌入模型決定了智能體能夠看到哪些文本段落。NVIDIA發佈了Nemotron 3 Embed模型來優化這一層面，目標是生產級RAG、智能體檢索、代碼檢索和智能體記憶。

什麼是Nemotron 3 Embed？

該模型集合包含三個開源檢查點：Nemotron-3-Embed-8B-BF16是精度優先的選項；Nemotron-3-Embed-1B-BF16在更小的尺寸下保持了相同的設計；Nemotron-3-Embed-1B-NVFP4是針對Blackwell優化的4位路徑。

所有模型均為Transformer編碼器，採用雙向注意力掩碼訓練。最終嵌入通過對token級表示進行平均池化獲得。每個檢查點的最大序列長度為32,768 token。

每個模型在34種語言上進行了評估。所有檢查點均採用OpenMDW許可協議1.1版（OpenMDW-1.1）。基礎模型基於Mistral：8B模型基於Ministral-3-8B-Instruct-2512，兩個1B變體均基於Ministral-3-3B-Instruct-2512。

性能表現

Nemotron-3-Embed-8B-BF16在RTEB（檢索嵌入基準）上整體排名第一（截至2026年7月17日），評估涵蓋16個公共任務。以下數字均為在模型序列長度4096下的平均NDCG@10。

| 模型 | 參數量 | 嵌入維度 | RTEB | ViDoRe-V3文本 | MMTEB（檢索） | |-----------------------------|--------|----------|-------|---------------|---------------| | Nemotron-3-Embed-8B-BF16 | ~8B | 4096 | 78.46 | 60.60 | 75.45 | | Nemotron-3-Embed-1B-BF16 | 1.14B | 2048 | 72.38 | 57.74 | 71.04 | | Nemotron-3-Embed-1B-NVFP4 | 1.14B | 2048 | 72.00 | — | — | | llama-nemotron-embed-vl-1b-v2 | — | — | 61.98 | 52.54 | 59.71 | | llama-nemotron-embed-1b-v2 | — | — | 60.47 | 52.10 | 59.58 |

兩個值得注意的差距：1B模型在RTEB上比前一代基線llama-nemotron-embed-vl-1b-v2高出10.4分。此外，NVFP4相比其BF16父模型僅損失0.38 RTEB點，即99.5%的精度保留。

1B模型如何構建？

1B模型的分數並非來自更小的訓練，而是通過壓縮流水線實現。父模型為nemotron-3-embed-3b，經過兩輪迭代剪枝和蒸餾。

首先，使用NVIDIA ModelOpt mcore_minitron神經架構搜索（NAS）將3B父模型剪枝至2B。搜索覆蓋隱藏寬度、FFN大小、注意力頭數和深度，然後從top-10帕累託前沿選擇最佳候選。使用50k領域內校準語料庫對這些候選進行評分。

其次，從微調後的8B嵌入教師模型對2B模型進行蒸餾。蒸餾結合了餘弦距離損失（COS）和均方誤差損失（MSE）。數據混合為多語言且領域內。最後，重複相同過程產生1.14B檢查點。

NVFP4服務的權衡

壓縮繼續延伸到服務格式。量化僅針對線性層的權重和激活，目標數據類型為NVFP4。研究團隊使用了nvidia-modelopt v0.45.0。隨後進行量化感知蒸餾（QAD），主要目的是恢復長輸入上的精度。

校準使用了512個樣本：256個查詢和256個段落，來自abisee/cnn_dailymail。QAD訓練使用了20k樣本。

研究團隊報告稱，在Blackwell上，NVFP4的吞吐量比BF16高出2倍，同時保持99%以上的BF16檢索精度。NVFP4還支持動態嵌入大小：可以將2048維向量從起始處切片至1024或512維，之後重新歸一化。

交互式解釋器：五階段檢索路徑

在接觸代碼之前，可以觀看路徑動畫。它展示了前綴添加、雙向編碼、平均池化、L2歸一化和點積評分。評分來自每個檢查點發布的預期輸出。

部署矩陣

不同的檢查點運行時路徑不同。

| 特性 | 8B-BF16 | 1B-BF16 | 1B-NVFP4 | |-----------------------------|---------|---------|----------| | Transformers / Sentence Transformers | 是 | 是 | 否 | | vLLM for /v2/embed | 0.25.0 | 0.25.0 | 0.25.0 | | 微架構 | Ampere, Hopper, Blackwell | Ampere, Hopper, Blackwell | Ampere, Hopper, Lovelace, Blackwell | | 測試硬件 | A100 80GB, H100 80GB | A100 80GB, H100 80GB | GB200, RTX 6000 PRO, A100, H100, L40, L4 | | 訓練數據 | 50M+樣本 | 8.5M+（蒸餾） | 20k（QAD） |

除了檢查點，NVIDIA研究團隊還發布了針對1B模型優化的NIM微服務。基於Rust的NIM在GB200和RTX PRO 6000上性能匹配或超越vLLM檢查點。NVIDIA測試了輸入序列長度256和1024。此外，NVIDIA NeMo AutoModel配方涵蓋了微調和蒸餾。

代碼使用

首先，查詢前綴為query:，文檔前綴為passage:。嵌入經過L2歸一化，因此點積等於餘弦相似度。

# pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer

QUERIES = ["How can someone reduce exposure to pollen during allergy season?"]
DOCUMENTS = ["People with pollen allergy can reduce exposure by staying indoors "
"on dry, windy days, avoiding early-morning outdoor activity, and "
"going outside after rain when pollen levels are lower."]

model = SentenceTransformer(
"nvidia/Nemotron-3-Embed-8B-BF16",
device="cuda",
model_kwargs={"dtype": torch.bfloat16,
"attn_implementation": "flash_attention_2"},
processor_kwargs={"padding_side": "left"},
)
model.max_seq_length = 32768

q = model.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = model.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(model.similarity(q, d))

encode_query和encode_document會自動讀取保存的前綴。對於服務，/v2/embed通過input_type應用它們。

應用案例

• 多語言企業搜索：支持團隊可以一起索引印地語、日語和英語工單，跨語言檢索讓德語查詢能返回日語解答。
• 代碼檢索：訓練涵蓋了coir_apps、coir_cosqa、synthetic_text2sql和SWE-bench，自然語言到代碼的查找更加符合分佈。
• 智能體記憶：32,768 token的限制讓智能體無需激進分塊即可嵌入長對話摘要。
• 成本分層RAG：使用1B-NVFP4處理高容量召回，將困難查詢路由到8B模型。由於維度不同，需要兩個索引。

關鍵要點

• Nemotron-3-Embed-8B-BF16在RTEB上以78.46平均NDCG@10排名第一。
• 三個開源檢查點涵蓋8B BF16、1B BF16和1B NVFP4。
• NVFP4在Blackwell上保持99%以上BF16精度，吞吐量提升2倍。
• 1B模型通過ModelOpt NAS剪枝和COS+MSE蒸餾從8B教師得到。
• 所有檢查點使用OpenMDW-1.1許可，支持32,768 token輸入。

訪問Hugging Face上的NVIDIA發佈頁面、Nemotron 3 Embed集合以及各檢查點卡片。歡迎關注我們的Twitter、加入150k+ML SubReddit和訂閲Newsletter。