NVIDIA AI、Nemotron 3 Embedを公開：オープンな埋め込みコレクション、8BチェックポイントがRTEBで第1位に

埋め込みモデルは、エージェントがどのテキストパッセージを参照するかを決定します。NVIDIAはこのレイヤーを最適化するためにNemotron 3 Embedモデルをリリースしました。本モデルは、プロダクションレベルのRAG、エージェント検索、コード検索、エージェントメモリを対象としています。

Nemotron 3 Embedとは

モデルコレクションには3つのオープンチェックポイントが含まれます。Nemotron-3-Embed-8B-BF16は精度優先のオプションです。Nemotron-3-Embed-1B-BF16は同じ設計をより小さなフットプリントで提供します。Nemotron-3-Embed-1B-NVFP4はBlackwell向けに最適化された4ビットパスです。

これらはすべて双方向アテンションマスクで訓練されたTransformerエンコーダーです。最終的な埋め込みは、トークンレベルの表現を平均プーリングして得られます。最大シーケンス長はすべてのチェックポイントで32,768トークンです。

各モデルは34言語で評価されました。すべてのチェックポイントはOpenMDW License Agreementバージョン1.1（OpenMDW-1.1）に基づいています。ベースはMistralモデルです。8BモデルはMinistral-3-8B-Instruct-2512、1BモデルはMinistral-3-3B-Instruct-2512をベースとしています。

パフォーマンス

Nemotron-3-Embed-8B-BF16はRTEB（Retrieval Embedding Benchmark）で全体第1位（2026年7月17日時点）を獲得。評価は16の公開タスクを対象としています。以下の数値はすべてモデルシーケンス長4096における平均NDCG@10です。

| モデル | パラメータ数 | 埋め込み次元 | RTEB | ViDoRe-V3テキスト | MMTEB（検索） | |-----------------------------|------------|-------------|-------|------------------|---------------| | Nemotron-3-Embed-8B-BF16 | ~8B | 4096 | 78.46 | 60.60 | 75.45 | | Nemotron-3-Embed-1B-BF16 | 1.14B | 2048 | 72.38 | 57.74 | 71.04 | | Nemotron-3-Embed-1B-NVFP4 | 1.14B | 2048 | 72.00 | — | — | | llama-nemotron-embed-vl-1b-v2 | — | — | 61.98 | 52.54 | 59.71 | | llama-nemotron-embed-1b-v2 | — | — | 60.47 | 52.10 | 59.58 |

注目すべき2つのギャップ：1BモデルはRTEBで従来のベースラインllama-nemotron-embed-vl-1b-v2より10.4ポイント高いスコアを達成。また、NVFP4はBF16の親モデルと比較してRTEBスコアが0.38ポイント減少するのみで、99.5%の精度維持を示しています。

1Bモデルの構築方法

1Bモデルのスコアは、より小規模な訓練ではなく、圧縮パイプラインによるものです。親モデルはnemotron-3-embed-3bで、2回の反復的な枝刈りと蒸留を経ています。

まず、NVIDIA ModelOpt mcore_minitron Neural Architecture Search（NAS）を使用して3Bの親モデルを2Bに枝刈りしました。検索では、隠れ幅、FFNサイズ、アテンションヘッド数、深さをカバーし、トップ10のパレートフロンティアから最適な候補を選択します。50kのドメイン内キャリブレーションコーパスでこれらの候補を評価しました。

次に、2Bモデルを微調整済みの8B埋め込み教師から蒸留しました。蒸留にはコサイン距離損失（COS）と平均二乗誤差損失（MSE）を組み合わせました。データブレンドは多言語かつドメイン内です。最後に、同じ手順を繰り返して1.14Bチェックポイントを生成しました。

NVFP4サービングのトレードオフ

圧縮はサービング形式にも及びます。量子化は線形層の重みと活性化のみを対象とし、NVFP4データ型をターゲットとしました。研究チームはnvidia-modelopt v0.45.0を使用。続いて量子化認識蒸留（QAD）を実行し、主に長い入力での精度回復を図りました。

キャリブレーションには512サンプル（abisee/cnn_dailymailからの256クエリと256パッセージ）を使用。QAD訓練には20kサンプルを使用しました。

研究チームは、Blackwell上でNVFP4がBF16と比較して最大2倍のスループットを実現し、BF16の検索精度を99%以上維持することを報告しています。また、NVFP4カードは動的な埋め込みサイズをサポートしており、2048次元ベクトルを先頭から1024または512次元にスライスし、再正規化することができます。

インタラクティブな解説：5段階の検索パス

コードに触れる前に、パスの動作を確認できます。プレフィックス付与、双方向エンコーディング、平均プーリング、L2正規化、ドット積スコアリングをアニメーションで表示します。スコアは各カードの公開された期待出力に基づきます。

デプロイメントマトリックス

チェックポイントごとに実行時パスが異なります。

| 機能 | 8B-BF16 | 1B-BF16 | 1B-NVFP4 | |-----------------------------|---------|---------|----------| | Transformers / Sentence Transformers | はい | はい | いいえ | | vLLM for /v2/embed | 0.25.0 | 0.25.0 | 0.25.0 | | マイクロアーキテクチャ | Ampere, Hopper, Blackwell | Ampere, Hopper, Blackwell | Ampere, Hopper, Lovelace, Blackwell | | テストハードウェア | A100 80GB, H100 80GB | A100 80GB, H100 80GB | GB200, RTX 6000 PRO, A100, H100, L40, L4 | | 訓練データ | 50M+サンプル | 8.5M+（蒸留） | 20k（QAD） |

チェックポイントに加えて、NVIDIA研究チームは1Bモデル向けに最適化されたNIMマイクロサービスをリリースしました。RustベースのNIMは、GB200およびRTX PRO 6000上でvLLMチェックポイントと同等またはそれ以上のパフォーマンスを発揮します。NVIDIAは入力シーケンス長256および1024でテストを実施しました。さらに、NVIDIA NeMo AutoModelレシピはファインチューニングと蒸留をカバーしています。

コードでの使用法

前述のパスに従い、まずプレフィックスを付けます。クエリにはquery:、ドキュメントにはpassage:を付与します。埋め込みはL2正規化されているため、ドット積はコサイン類似度と等しくなります。

# pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer

QUERIES = ["How can someone reduce exposure to pollen during allergy season?"]
DOCUMENTS = ["People with pollen allergy can reduce exposure by staying indoors "
"on dry, windy days, avoiding early-morning outdoor activity, and "
"going outside after rain when pollen levels are lower."]

model = SentenceTransformer(
"nvidia/Nemotron-3-Embed-8B-BF16",
device="cuda",
model_kwargs={"dtype": torch.bfloat16,
"attn_implementation": "flash_attention_2"},
processor_kwargs={"padding_side": "left"},
)
model.max_seq_length = 32768

q = model.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = model.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(model.similarity(q, d))

encode_queryとencode_documentは保存されたプロンプトを自動的に読み取ります。サービングでは、/v2/embedがinput_typeに基づいてプレフィックスを適用します。

ユースケースの例

• 多言語エンタープライズ検索：サポートチームがヒンディー語、日本語、英語のチケットを一緒にインデックス化。ドイツ語のクエリで日本語の解決メモを検索できます。
• コード検索：訓練にcoir_apps、coir_cosqa、synthetic_text2sql、SWE-benchが含まれているため、自然言語からコードへの検索が分布内に近くなります。
• エージェントメモリ：32,768トークンの制限により、エージェントは長い会話の要約を過激なチャンク化なしに埋め込むことができます。
• コスト階層型RAG：大量のリコールには1B-NVFP4を使用し、困難なクエリは8Bにルーティングします。次元が異なるため、2つのインデックスが必要です。

主なポイント

• Nemotron-3-Embed-8B-BF16はRTEBで平均NDCG@10が78.46で第1位。
• 3つのオープンチェックポイント（8B BF16、1B BF16、1B NVFP4）を提供。
• NVFP4はBlackwell上でBF16の精度を99%以上維持し、スループットを最大2倍向上。
• 1BモデルはModelOptのNAS枝刈りとCOS+MSE蒸留により8B教師から生成。
• すべてのチェックポイントはOpenMDW-1.1に基づき、32,768トークンの入力をサポート。

Hugging Face上のNVIDIA発表ページ、Nemotron 3 Embedコレクション、各チェックポイントカードをご確認ください。また、Twitterのフォロー、150k+ML SubRedditへの参加、ニュースレターの購読もお忘れなく。