跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

Nemotron 3.5 Bolt 74B-A9B 24GB:面向本地AI的混合視覺-語言模型

文章摘要

英偉達發佈Nemotron 3.5 Bolt 74B-A9B 24GB,一款基於Mamba-Transformer混合架構的視覺-語言模型,通過Star Elastic壓縮和2位量化感知蒸餾,將大模型壓縮至24GB內存佔用,並搭配LiLiCorr推測解碼器,在RTX Spark上實現84 TPS,在GDPVal v2、BrowseComp和Terminal-Bench 2.1等基準上超越同內存佔用和速度的領先模型。

來源arXiv Computer Vision作者: Ganesh Ajjanagadde, Chris Alexiuk, Luke Alonso, Kumar Anshuman, Maor Ashkenazi, Nave Assaf, Gorkem Batmaz, Omer Belhasin, Shai Ben Nun, Akhiad Bercovich, Pritam Biswas, Caroline Blanco, Tijmen Blankevoort, Michael Boone, Christopher Borden, Kari Briski, Bryan Catanzaro, Zijia Chen, Aishwarya Chhabra, Hung-Yueh Chiang, Annamalai Chockalingam, Jonathan Cohen, Joey Conway, Olivier Delalleau, Gerardo Delgado Cabrera, Leon Derczynski, Li Ding, Will Efstratis, Michael Elad, Ellie Evans, Wes Feely, Michael Fukuyama, Gaurav Garg, Rishabh Garg, Arvind Gopalakrishnan, Shishir Goyal, Kartik Gulia, Hao Guo, Negar Habibi, Scott Hara, Ehsan Hosseini Asl, Rohit Jena, Udi Karpas, Bilal Kartal, Mayank Kaushik, Manoj Kilaru, Mackenzie Kosseim, Oleksii Kuchaiev, Matthieu Le, Raymond Lee, Jian Leong, Jonathan Li, Sheldon Liang, Mingjie Liu, Eileen Long, Katherine Luna, Chenjie Luo, Mingyuan Ma, Arsh Maknojia, Richard Mazzarese, Jessica Medina, Puhui Meng, Yoav Miron, Pavlo Molchanov, David Mosallanezhad, Chetan Mungekar, Marina Neseem, Oluwatobi Olabiyi, Jason Paul, Bhavesh Pawar, Seth Poulos, Anav Prasad, Meredith Price, Sweta Priyadarshi, Haifeng Qian, Vinay Raman, Kaustubh Rao, Hayley Ross, Matan Rusanovsky, Sudeep Sabnis, Karan Sapra, Micah Schaffer, Schmitty, Alex Settle, Ashton Sharabiani, Haran Kumar Shiv Kumar, Rameshwar Shivbhakta, Guillermo Siman, Barnaby Simkin, Oliver Simons, Andrii Skliar, Padmavathy Subramanian, Yoshi Suhara, Ali Taghibakhshi, Nima Tajbakhsh, Andrew Tao, Roy Uziel, Prasoon Varshney, Jose Vergara, Huy Vu, Mengru Wang, Rochelle Woods, Pinky Xu, Dina Yared, Chenhan Yu, Chaosen Zhang, Jian Zhang, Yiheng Zhang, Ran Zilberstein
Nemotron 3.5 Bolt 74B-A9B 24GB:面向本地AI的混合視覺-語言模型
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

Nemotron 3.5 Bolt 74B-A9B 24GB 是一款面向本地智能體工作負載設計的混合視覺語言模型,其核心目標是在每一 GB 顯存上同時優化速度與智能水平。該模型於 2026 年 10 月 15 日以 arXiv 預印本形式發佈,編號為 arXiv:2610.33039(cs.CV),作者陣容龐大,由 Ganesh Ajjanagadde 領銜,論文頁面另列出 108 位合著者,提交人為 Tijmen Blankevoort。

從架構上看,該模型採用 Mamba-Transformer 混合結構,並具備視覺語言能力,能夠同時處理文本與圖像輸入。它並非從零訓練,而是從 Nemotron 3.5 Super VL 120B-A12B 模型家族衍生而來,通過壓縮與蒸餾手段將原本更大的模型適配到顯存受限的部署環境中。具體而言,研究團隊結合了 Star Elastic 壓縮技術與 2-bit 量化感知蒸餾(Quantization-Aware Distillation),在顯著降低內存佔用的同時儘量保留原模型的能力。

該模型的優化方向明確指向推理、智能體工具調用以及網頁與終端交互三類場景。為達到目標推理速度,團隊還額外訓練了一個名為 LiLiCorr 的推測解碼草稿模型(speculative drafter),並與主模型一同發佈。推測解碼通過讓較小的草稿模型先行生成候選 token、再由主模型驗證,從而在不改變輸出分佈的前提下提升吞吐量。

在性能方面,論文稱該模型在相同內存佔用與速度水平的主流模型中取得了更高的準確率。評測覆蓋多個方向的基準:通用智能體能力方面使用 GDPVal v2,網頁瀏覽方面使用 BrowseComp,終端操作方面使用 Terminal-Bench 2.1。在 RTX Spark 硬件上,該模型達到約 84 TPS(每秒 token 數)的吞吐表現,這一速度可與活躍參數遠低於它的模型相比,論文認為該速度足以支撐長時程(long-horizon)智能體應用。

值得注意的是,74B-A9B 的命名暗示模型總參數約 740 億、每次推理激活約 90 億參數,結合 24GB 的顯存標籤,體現出以稀疏激活換取低內存佔用的設計思路。論文全文提供 PDF、實驗性 HTML 以及 TeX 源碼等多種獲取方式,並附帶音頻摘要。需要説明的是,上述性能結論均來自論文作者的自我報告,尚待獨立復現與社區驗證;同時,2-bit 量化對下游任務的實際影響、以及推測解碼在不同硬件上的加速比,也仍需更廣泛的實測數據支撐。

展開要點與分析

文章情報

工程師進階

要點

  • 採用Mamba-Transformer混合架構,專為本地智能體工作負載優化每GB內存的速度與智能。
  • 結合Star Elastic壓縮與2位量化感知蒸餾,從120B-A12B模型家族衍生出74B-A9B版本,適配24GB顯存。
  • 配套LiLiCorr推測解碼器,在RTX Spark上達到84 TPS,性能足以支撐長程智能體應用。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。