Nemotron 3.5 Bolt 74B-A9B 24GB は、ローカル環境でのエージェント型ワークロードを想定して設計されたハイブリッド型の視覚言語モデルである。使用メモリ1GBあたりの速度と知能の両方を最適化することを主眼としている。本モデルは2026年10月15日に arXiv プレプリント(arXiv:2610.33039、cs.CV)として公開され、Ganesh Ajjanagadde を筆頭に、論文ページにはさらに108名の共著者が記載されている。投稿者は Tijmen Blankevoort である。
アーキテクチャの面では、Mamba と Transformer を組み合わせたハイブリッド構造を採用し、テキストと画像の両方を扱う視覚言語モデルとなっている。ゼロから学習したのではなく、Nemotron 3.5 Super VL 120B-A12B モデルファミリーから派生したもので、圧縮と蒸留によってメモリ制約の厳しい環境へ展開できるよう調整されている。具体的には Star Elastic 圧縮と 2-bit の量子化認識蒸留(Quantization-Aware Distillation)を組み合わせ、メモリ使用量を大幅に削減しつつ元モデルの能力をできるだけ維持している。
最適化の対象は、推論、エージェントによるツール利用、そしてウェブおよびターミナル上での操作という3種類の用途である。目標とする推論速度を達成するため、研究チームは LiLiCorr と呼ばれる投機的デコーディング用のドラフトモデルも追加学習し、本体モデルと同時に公開した。投機的デコーディングでは、小型のドラフトモデルが候補トークンを先に生成し、それを本体モデルが検証することで、出力分布を変えずにスループットを高める。
性能面では、同じメモリ使用量と速度の主要モデルと比べて高い精度を達成したと論文は主張している。評価は複数のベンチマークで行われ、汎用的なエージェント能力には GDPVal v2、ウェブ閲覧には BrowseComp、ターミナル操作には Terminal-Bench 2.1 が用いられている。RTX Spark 上では約84 TPS(毎秒トークン数)のスループットを記録し、これは有効パラメータ数がはるかに少ないモデルに匹敵する速度であり、長期的なエージェント用途には十分だと論文は述べている。
名称の 74B-A9B は、総パラメータ約740億、推論時に有効化されるパラメータが約90億であることを示唆しており、24GB という表記と合わせて、疎な活性化によってメモリ使用量を抑える設計思想がうかがえる。論文は PDF、実験的な HTML、TeX ソースなど複数の形式で提供され、音声要約も付属している。ただし、これらの性能に関する結論は著者による自己申告であり、独立した再現やコミュニティによる検証はこれからである。また、2-bit 量子化が下流タスクに与える実際の影響や、投機的デコーディングが異なるハードウェアでどの程度の高速化をもたらすかについても、より広範な実測データが待たれる。