NVIDIAは、高速な対話型エージェント向けのオープンな小型言語モデル「Nemotron 3.5 Bolt E4B 4GB」を公開した。対象となるのは、RTX、Jetson、Spark系ハードウェア上でローカルに動作する音声アシスタント、ゲームNPC、ロボットのインターフェースだ。GoogleのGemma 4 E4Bをベースに、強化学習のみで事後学習している。開発者にとっては約4GBのVRAMでエージェント動作を賄えるという意味になり、音声モデルや視覚モデルのための余裕を残せる。
スペックは総パラメータ8B、有効パラメータ4B、コンテキスト長64K。NVIDIAのテストでは、Q4_K_M量子化版がRTX上で3.1〜4.3GBのVRAMを使用した。NVIDIAによれば、Gemma 4 E4B、Qwen3.5-4B、Nemotron 3 Nano 4Bとの比較で21ベンチマーク中15項目で最高スコアを記録したが、いずれもNVIDIA自身による計測値である点には注意が必要だ。最も良い結果はIHEvalの84.8（Gemma 4 E4Bは67.0、Qwen3.5-4Bは60.6）、最も弱いのはTau2-Benchの55.1で、Qwen3.5-4Bの75.1に約20ポイント及ばない。
位置づけとしてNVIDIAは3種類のワークロードを挙げている。デバイス・音声アシスタント、インタラクティブなキャラクター、そして組み込み・産業用エージェントだ。研究レポートでは、Jetson Orin Nano 8GB上で動作するReachy Miniロボットのデモが示されており、視覚をCosmos 3 Edge、音声応答とツール呼び出しをBoltが担う。NVIDIAのチームはBoltを、ACEゲームキャラクター向けの第3世代小型モデルとも位置づけている。公開情報に記載された主な特徴は次の通り：非同期ツール呼び出しのガイダンスを含むマルチターンのツール利用、音声読み上げ向けの短い応答を生成するconversational_modeフラグ、構成可能な推論とレイテンシを抑える実行時の思考予算、履歴・ツール定義・アプリケーション状態を保持する64Kコンテキスト。
訓練手法はこのモデルで最も特徴的な部分だ。NVIDIAは教師あり微調整（SFT）を完全に省略した。研究レポートによれば、SFTはツール呼び出しを改善する一方でGemmaの対話品質と冗長性を損なうという。代わりにチームはNeMo-RLとNeMo-Gymを通じてRLVRとRLHFを用いた。各訓練サンプルは推論モードと非推論モードの両方で実行され、各バッチは非推論対推論が2:1の比率に保たれた。GenRM環境の長さペナルティにより、訓練中に回答が長くなり続けるのを防いでいる。データセットと完全なレシピは公開されている。
デプロイ面では、NVIDIAはBF16チェックポイントを重要度行列キャリブレーション付きでQ4_K_Mに量子化した。キャリブレーションには約100万トークン分のRLロールアウトを使用している。リリースには投機的デコーディング用のDFlashドラフターも同梱される。RTX 5070上で、BoltはDFlashと組み合わせて毎秒272.6トークンに達し、Gemma 4 E4BがMTPドラフターで毎秒225.9トークンだったことから、Boltは約1.21倍高速となる。
ベンチマークは21項目が5つの能力領域に分類され、スコアはすべてBF16精度でNVIDIAの独自NeMo-Gymハーネスにより計測されたもので、推論モードでBoltが15項目をリードした。NVIDIAはまた、Nemotron 3 Nano 4Bと比べて平均スコアが約40%高く、推論有効時の比較で出力トークンが最大80%少ないと主張する。さらにXの投稿によれば、Scale Labsはマルチターン課題MultiChallengeでBoltを小型モデル中1位（56.03%）と評価した。ただしBoltが全項目で勝っているわけではない。Qwen3.5-4BはTau2-Bench（75.1対55.1）、RULER 64K（95.1対87.0）、LongBench v2（59.9対50.5）、BFCL-v3（70.9対68.5）で優位に立ち、Gemma 4 E4BはEQ-Bench v3で41.1対39.4とわずかに上回る。
他の小型モデルとの比較では、Boltは総量8B・有効4B、Gemma 4 E4Bは埋め込み込みで8B・有効4.5B、Qwen3.5-4Bは4Bの言語モデル、Nemotron 3 Nano 4Bは3.97Bとなる。コンテキスト長はBoltの64KがGemmaの128K、QwenとNanoの262Kより明確に短い。ライセンスはOpenMDW-1.1で、GemmaとQwenはApache 2.0、NanoはNVIDIA Nemotron Open Model Licenseを採用する。入力についてモデルカードはテキストのみとしているが、NIMインターフェースは画像と音声も受け付ける。
ハードウェア実測はllama.cpp、バッチサイズ1、入力3K・出力50トークンの条件で行われた。RTX 5070（12GB）はVRAM 3.5GB、最初のトークンまでの遅延548ミリ秒、毎秒133.4トークン。RTX Spark（32GB）は3.1GB、930ミリ秒、毎秒67.0トークン。Jetson AGX Orin（32GB）は4.2GB、3687ミリ秒、毎秒24.0トークン。Jetson Orin Nano（8GB）は4.2GB、5785ミリ秒、毎秒15.5トークンだった。なお「4GB」はファイルサイズではなく目標とするVRAMの範囲を示すもので、Hugging Face上のQ4_K_M GGUFは実際には6.18GBである。
BoltはHugging Face、Ollama、LM Studio、Unsloth、Jetson AI Labで提供され、NVIDIA NIMとしてもIn-Game Inferencing SDK経由でも利用できる。技術レポート、GGUFモデル、BF16モデル、訓練レシピも併せて公開されている。