Nemotron 3.5 Bolt 74B-A9B 24GB 是一款面向本地智能體工作負載設計的混合視覺語言模型,其核心目標是在每一 GB 顯存上同時優化速度與智能水平。該模型於 2026 年 10 月 15 日以 arXiv 預印本形式發佈,編號為 arXiv:2610.33039(cs.CV),作者陣容龐大,由 Ganesh Ajjanagadde 領銜,論文頁面另列出 108 位合著者,提交人為 Tijmen Blankevoort。
從架構上看,該模型採用 Mamba-Transformer 混合結構,並具備視覺語言能力,能夠同時處理文本與圖像輸入。它並非從零訓練,而是從 Nemotron 3.5 Super VL 120B-A12B 模型家族衍生而來,通過壓縮與蒸餾手段將原本更大的模型適配到顯存受限的部署環境中。具體而言,研究團隊結合了 Star Elastic 壓縮技術與 2-bit 量化感知蒸餾(Quantization-Aware Distillation),在顯著降低內存佔用的同時儘量保留原模型的能力。
該模型的優化方向明確指向推理、智能體工具調用以及網頁與終端交互三類場景。為達到目標推理速度,團隊還額外訓練了一個名為 LiLiCorr 的推測解碼草稿模型(speculative drafter),並與主模型一同發佈。推測解碼通過讓較小的草稿模型先行生成候選 token、再由主模型驗證,從而在不改變輸出分佈的前提下提升吞吐量。
在性能方面,論文稱該模型在相同內存佔用與速度水平的主流模型中取得了更高的準確率。評測覆蓋多個方向的基準:通用智能體能力方面使用 GDPVal v2,網頁瀏覽方面使用 BrowseComp,終端操作方面使用 Terminal-Bench 2.1。在 RTX Spark 硬件上,該模型達到約 84 TPS(每秒 token 數)的吞吐表現,這一速度可與活躍參數遠低於它的模型相比,論文認為該速度足以支撐長時程(long-horizon)智能體應用。
值得注意的是,74B-A9B 的命名暗示模型總參數約 740 億、每次推理激活約 90 億參數,結合 24GB 的顯存標籤,體現出以稀疏激活換取低內存佔用的設計思路。論文全文提供 PDF、實驗性 HTML 以及 TeX 源碼等多種獲取方式,並附帶音頻摘要。需要説明的是,上述性能結論均來自論文作者的自我報告,尚待獨立復現與社區驗證;同時,2-bit 量化對下游任務的實際影響、以及推測解碼在不同硬件上的加速比,也仍需更廣泛的實測數據支撐。