NVIDIA AI釋出Nemotron 3 Embed：開源嵌入集合，8B檢查點榮登RTEB榜首

嵌入模型決定了智慧體能夠看到哪些文本段落。NVIDIA釋出了Nemotron 3 Embed模型來最佳化這一層面，目標是生產級RAG、智慧體檢索、程式碼檢索和智慧體記憶。

什麼是Nemotron 3 Embed？

該模型集合包含三個開源檢查點：Nemotron-3-Embed-8B-BF16是精度優先的選項；Nemotron-3-Embed-1B-BF16在更小的尺寸下保持了相同的設計；Nemotron-3-Embed-1B-NVFP4是針對Blackwell最佳化的4位路徑。

所有模型均為Transformer編碼器，採用雙向注意力掩碼訓練。最終嵌入透過對token級表示進行平均池化獲得。每個檢查點的最大序列長度為32,768 token。

每個模型在34種語言上進行了評估。所有檢查點均採用OpenMDW許可協議1.1版（OpenMDW-1.1）。基礎模型基於Mistral：8B模型基於Ministral-3-8B-Instruct-2512，兩個1B變體均基於Ministral-3-3B-Instruct-2512。

效能表現

Nemotron-3-Embed-8B-BF16在RTEB（檢索嵌入基準）上整體排名第一（截至2026年7月17日），評估涵蓋16個公共任務。以下數字均為在模型序列長度4096下的平均NDCG@10。

| 模型 | 引數量 | 嵌入維度 | RTEB | ViDoRe-V3文本 | MMTEB（檢索） | |-----------------------------|--------|----------|-------|---------------|---------------| | Nemotron-3-Embed-8B-BF16 | ~8B | 4096 | 78.46 | 60.60 | 75.45 | | Nemotron-3-Embed-1B-BF16 | 1.14B | 2048 | 72.38 | 57.74 | 71.04 | | Nemotron-3-Embed-1B-NVFP4 | 1.14B | 2048 | 72.00 | — | — | | llama-nemotron-embed-vl-1b-v2 | — | — | 61.98 | 52.54 | 59.71 | | llama-nemotron-embed-1b-v2 | — | — | 60.47 | 52.10 | 59.58 |

兩個值得注意的差距：1B模型在RTEB上比前一代基線llama-nemotron-embed-vl-1b-v2高出10.4分。此外，NVFP4相比其BF16父模型僅損失0.38 RTEB點，即99.5%的精度保留。

1B模型如何構建？

1B模型的分數並非來自更小的訓練，而是透過壓縮流水線實現。父模型為nemotron-3-embed-3b，經過兩輪迭代剪枝和蒸餾。

首先，使用NVIDIA ModelOpt mcore_minitron神經架構搜尋（NAS）將3B父模型剪枝至2B。搜尋覆蓋隱藏寬度、FFN大小、注意力頭數和深度，然後從top-10帕累託前沿選擇最佳候選。使用50k領域內校準語料庫對這些候選進行評分。

其次，從微調後的8B嵌入教師模型對2B模型進行蒸餾。蒸餾結合了餘弦距離損失（COS）和均方誤差損失（MSE）。資料混合為多語言且領域內。最後，重複相同過程產生1.14B檢查點。

NVFP4服務的權衡

壓縮繼續延伸到服務格式。量化僅針對線性層的權重和啟用，目標資料型別為NVFP4。研究團隊使用了nvidia-modelopt v0.45.0。隨後進行量化感知蒸餾（QAD），主要目的是恢復長輸入上的精度。

校準使用了512個樣本：256個查詢和256個段落，來自abisee/cnn_dailymail。QAD訓練使用了20k樣本。

研究團隊報告稱，在Blackwell上，NVFP4的吞吐量比BF16高出2倍，同時保持99%以上的BF16檢索精度。NVFP4還支援動態嵌入大小：可以將2048維向量從起始處切片至1024或512維，之後重新歸一化。

互動式直譯器：五階段檢索路徑

在接觸程式碼之前，可以觀看路徑動畫。它展示了字首新增、雙向編碼、平均池化、L2歸一化和點積評分。評分來自每個檢查點發布的預期輸出。

部署矩陣

不同的檢查點執行時路徑不同。

| 特性 | 8B-BF16 | 1B-BF16 | 1B-NVFP4 | |-----------------------------|---------|---------|----------| | Transformers / Sentence Transformers | 是 | 是 | 否 | | vLLM for /v2/embed | 0.25.0 | 0.25.0 | 0.25.0 | | 微架構 | Ampere, Hopper, Blackwell | Ampere, Hopper, Blackwell | Ampere, Hopper, Lovelace, Blackwell | | 測試硬體 | A100 80GB, H100 80GB | A100 80GB, H100 80GB | GB200, RTX 6000 PRO, A100, H100, L40, L4 | | 訓練資料 | 50M+樣本 | 8.5M+（蒸餾） | 20k（QAD） |

除了檢查點，NVIDIA研究團隊還發布了針對1B模型最佳化的NIM微服務。基於Rust的NIM在GB200和RTX PRO 6000上效能匹配或超越vLLM檢查點。NVIDIA測試了輸入序列長度256和1024。此外，NVIDIA NeMo AutoModel配方涵蓋了微調和蒸餾。

程式碼使用

首先，查詢字首為query:，文件字首為passage:。嵌入經過L2歸一化，因此點積等於餘弦相似度。

# pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer

QUERIES = ["How can someone reduce exposure to pollen during allergy season?"]
DOCUMENTS = ["People with pollen allergy can reduce exposure by staying indoors "
"on dry, windy days, avoiding early-morning outdoor activity, and "
"going outside after rain when pollen levels are lower."]

model = SentenceTransformer(
"nvidia/Nemotron-3-Embed-8B-BF16",
device="cuda",
model_kwargs={"dtype": torch.bfloat16,
"attn_implementation": "flash_attention_2"},
processor_kwargs={"padding_side": "left"},
)
model.max_seq_length = 32768

q = model.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = model.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(model.similarity(q, d))

encode_query和encode_document會自動讀取儲存的字首。對於服務，/v2/embed透過input_type應用它們。

應用案例

• 多語言企業搜尋：支援團隊可以一起索引印地語、日語和英語工單，跨語言檢索讓德語查詢能返回日語解答。
• 程式碼檢索：訓練涵蓋了coir_apps、coir_cosqa、synthetic_text2sql和SWE-bench，自然語言到程式碼的查詢更加符合分佈。
• 智慧體記憶：32,768 token的限制讓智慧體無需激進分塊即可嵌入長對話摘要。
• 成本分層RAG：使用1B-NVFP4處理高容量召回，將困難查詢路由到8B模型。由於維度不同，需要兩個索引。

關鍵要點

• Nemotron-3-Embed-8B-BF16在RTEB上以78.46平均NDCG@10排名第一。
• 三個開源檢查點涵蓋8B BF16、1B BF16和1B NVFP4。
• NVFP4在Blackwell上保持99%以上BF16精度，吞吐量提升2倍。
• 1B模型透過ModelOpt NAS剪枝和COS+MSE蒸餾從8B教師得到。
• 所有檢查點使用OpenMDW-1.1許可，支援32,768 token輸入。

訪問Hugging Face上的NVIDIA釋出頁面、Nemotron 3 Embed集合以及各檢查點卡片。歡迎關注我們的Twitter、加入150k+ML SubReddit和訂閱Newsletter。