本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

Nemotron 3.5 Bolt 74B-A9B 24GB:ローカルAI向けハイブリッド視覚言語モデル

記事の要約

NVIDIAは、Mamba-Transformerハイブリッドアーキテクチャを採用した視覚言語モデルNemotron 3.5 Bolt 74B-A9B 24GBを発表した。Star Elastic圧縮と2ビット量子化認識蒸留により120B-A12Bファミリーから24GBメモリ向けに派生し、LiLiCorr投機的デコーダーと組み合わせることでRTX Spark上で84 TPSを達成。GDPVal v2、BrowseComp、Terminal-Bench 2.1で同メモリ・同速度の主要モデルを上回る精度を示す。

ソースarXiv Computer Vision著者: Ganesh Ajjanagadde, Chris Alexiuk, Luke Alonso, Kumar Anshuman, Maor Ashkenazi, Nave Assaf, Gorkem Batmaz, Omer Belhasin, Shai Ben Nun, Akhiad Bercovich, Pritam Biswas, Caroline Blanco, Tijmen Blankevoort, Michael Boone, Christopher Borden, Kari Briski, Bryan Catanzaro, Zijia Chen, Aishwarya Chhabra, Hung-Yueh Chiang, Annamalai Chockalingam, Jonathan Cohen, Joey Conway, Olivier Delalleau, Gerardo Delgado Cabrera, Leon Derczynski, Li Ding, Will Efstratis, Michael Elad, Ellie Evans, Wes Feely, Michael Fukuyama, Gaurav Garg, Rishabh Garg, Arvind Gopalakrishnan, Shishir Goyal, Kartik Gulia, Hao Guo, Negar Habibi, Scott Hara, Ehsan Hosseini Asl, Rohit Jena, Udi Karpas, Bilal Kartal, Mayank Kaushik, Manoj Kilaru, Mackenzie Kosseim, Oleksii Kuchaiev, Matthieu Le, Raymond Lee, Jian Leong, Jonathan Li, Sheldon Liang, Mingjie Liu, Eileen Long, Katherine Luna, Chenjie Luo, Mingyuan Ma, Arsh Maknojia, Richard Mazzarese, Jessica Medina, Puhui Meng, Yoav Miron, Pavlo Molchanov, David Mosallanezhad, Chetan Mungekar, Marina Neseem, Oluwatobi Olabiyi, Jason Paul, Bhavesh Pawar, Seth Poulos, Anav Prasad, Meredith Price, Sweta Priyadarshi, Haifeng Qian, Vinay Raman, Kaustubh Rao, Hayley Ross, Matan Rusanovsky, Sudeep Sabnis, Karan Sapra, Micah Schaffer, Schmitty, Alex Settle, Ashton Sharabiani, Haran Kumar Shiv Kumar, Rameshwar Shivbhakta, Guillermo Siman, Barnaby Simkin, Oliver Simons, Andrii Skliar, Padmavathy Subramanian, Yoshi Suhara, Ali Taghibakhshi, Nima Tajbakhsh, Andrew Tao, Roy Uziel, Prasoon Varshney, Jose Vergara, Huy Vu, Mengru Wang, Rochelle Woods, Pinky Xu, Dina Yared, Chenhan Yu, Chaosen Zhang, Jian Zhang, Yiheng Zhang, Ran Zilberstein
Nemotron 3.5 Bolt 74B-A9B 24GB:ローカルAI向けハイブリッド視覚言語モデル
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

Nemotron 3.5 Bolt 74B-A9B 24GB は、ローカル環境でのエージェント型ワークロードを想定して設計されたハイブリッド型の視覚言語モデルである。使用メモリ1GBあたりの速度と知能の両方を最適化することを主眼としている。本モデルは2026年10月15日に arXiv プレプリント(arXiv:2610.33039、cs.CV)として公開され、Ganesh Ajjanagadde を筆頭に、論文ページにはさらに108名の共著者が記載されている。投稿者は Tijmen Blankevoort である。

アーキテクチャの面では、Mamba と Transformer を組み合わせたハイブリッド構造を採用し、テキストと画像の両方を扱う視覚言語モデルとなっている。ゼロから学習したのではなく、Nemotron 3.5 Super VL 120B-A12B モデルファミリーから派生したもので、圧縮と蒸留によってメモリ制約の厳しい環境へ展開できるよう調整されている。具体的には Star Elastic 圧縮と 2-bit の量子化認識蒸留(Quantization-Aware Distillation)を組み合わせ、メモリ使用量を大幅に削減しつつ元モデルの能力をできるだけ維持している。

最適化の対象は、推論、エージェントによるツール利用、そしてウェブおよびターミナル上での操作という3種類の用途である。目標とする推論速度を達成するため、研究チームは LiLiCorr と呼ばれる投機的デコーディング用のドラフトモデルも追加学習し、本体モデルと同時に公開した。投機的デコーディングでは、小型のドラフトモデルが候補トークンを先に生成し、それを本体モデルが検証することで、出力分布を変えずにスループットを高める。

性能面では、同じメモリ使用量と速度の主要モデルと比べて高い精度を達成したと論文は主張している。評価は複数のベンチマークで行われ、汎用的なエージェント能力には GDPVal v2、ウェブ閲覧には BrowseComp、ターミナル操作には Terminal-Bench 2.1 が用いられている。RTX Spark 上では約84 TPS(毎秒トークン数)のスループットを記録し、これは有効パラメータ数がはるかに少ないモデルに匹敵する速度であり、長期的なエージェント用途には十分だと論文は述べている。

名称の 74B-A9B は、総パラメータ約740億、推論時に有効化されるパラメータが約90億であることを示唆しており、24GB という表記と合わせて、疎な活性化によってメモリ使用量を抑える設計思想がうかがえる。論文は PDF、実験的な HTML、TeX ソースなど複数の形式で提供され、音声要約も付属している。ただし、これらの性能に関する結論は著者による自己申告であり、独立した再現やコミュニティによる検証はこれからである。また、2-bit 量子化が下流タスクに与える実際の影響や、投機的デコーディングが異なるハードウェアでどの程度の高速化をもたらすかについても、より広範な実測データが待たれる。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • Mamba-Transformerハイブリッドアーキテクチャにより、ローカルエージェントワークロードでメモリ1GBあたりの速度と知能を最適化。
  • Star Elastic圧縮と2ビット量子化認識蒸留を組み合わせ、120B-A12Bファミリーから74B-A9Bモデルを導出し24GB展開を実現。
  • LiLiCorr投機的デコーダーを同梱し、RTX Spark上で84 TPSを達成。長期的なエージェントアプリケーションに十分な性能。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。