NVIDIA Nemotron 3.5 Super VL 现已加入 AWS 上可用的 NVIDIA Nemotron 模型家族，与 Nemotron 3 Nano、Nano Omni、Super、Ultra 和 Nemotron 3.5 Lightning 一同提供。该模型是一个 120B 参数的混合专家（MoE）模型，每个 token 激活 12B 参数，将推理和工具使用与文本、图像、文档及视频理解相结合，因此单个模型即可同时处理文本和视觉任务。本文探讨其架构和用例，并演示如何在 Amazon Elastic Kubernetes Service（Amazon EKS）、Amazon EKS Auto Mode 和 Amazon SageMaker HyperPod EKS 上进行部署。
Nemotron 3.5 Super VL 是一个开放的多模态模型，从 Nemotron 3 Ultra 蒸馏而来。NVIDIA 发布了权重、训练数据集和后训练配方，因此你可以针对特定领域工作负载自定义模型，并在自己控制的基础设施上运行。模型详情包括：总参数 120B，每 token 激活 12B；采用混合 Mamba-2、MoE 和注意力层，并配备 RADIO 视觉编码器；上下文长度最高可达 100 万 token；输入支持文本、图像、文档和视频；输出为文本；提供 BF16 和 NVFP4 检查点。NVIDIA 报告称，该模型在 Hermes Bench 上达到 63.44%，在 LangChain 代理评估中达到 87.05%，在 CharXiv 图表推理基准上达到 80.8%。
在架构上，Nemotron 3.5 Super VL 采用混合 Mamba-Transformer MoE 架构，交错排列 Mamba-2、注意力和专家层。稀疏路由机制为每个 token 激活 120B 参数中的 12B，因此每个 token 的计算量相当于一个小得多的模型，但 GPU 内存仍需容纳全部权重。Mamba-2 层在生成过程中保持恒定大小的状态，其内存不会像 KV 缓存那样随序列长度增长，这使得长上下文处理更加经济。递归共享的多 token 预测（MTP）头支持原生推测解码。
该模型支持将推理与视觉理解相结合的代理工作流，典型用例包括：编码——测试和验证代码、分析错误、推荐修复方案；网络研究——交叉引用和验证搜索工具返回的来源；文档智能——读取表格、图表和页面布局以生成摘要；网络安全——识别漏洞和分类威胁；视频理解——搜索、内容分析、审查和事件分析。Nemotron 3.5 Super VL 通过 NVIDIA 参考实现、cookbook 和 NVIDIA Agent Toolkit 与主流开放代理框架和编排系统集成。
在 GPU 配置方面，vLLM 下 BF16 和 NVFP4 的最低 GPU 数量有所不同：B200/GB200 需要 8 个（BF16）或 2 个（NVFP4）；B300/GB300 需要 4 个或 1 个；H200 需要 8 个或 4 个；H100 需要 16 个或 8 个。
部署架构方面，参考实现可在标准 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上运行。使用 EKS Auto Mode 时，AWS 会代表你管理集群中的扩展、GPU 和 EFA 支持。每个集群都有一个控制平面托管 Kubernetes API，以及由 CPU 和 GPU 节点组成的数据平面。CPU 节点运行系统和测试 pod，GPU 节点运行模型。Amazon Elastic Container Registry（Amazon ECR）存储容器镜像，共享的 Amazon FSx for Lustre 卷保存模型权重，Elastic Fabric Adapter（EFA）连接 GPU 节点。NVIDIA Dynamo 支持在单节点上聚合服务模型，或使用不同节点进行预填充和解码的分离式部署。对于视觉语言模型，图像/视频编码阶段还可以在独立节点上分离运行。
该架构已在 p6-b200.48xlarge（8 块 NVIDIA B200 GPU）和 p5en.48xlarge（8 块 NVIDIA H200 GPU）实例上验证。你可以使用 NVIDIA 集合通信库（NCCL）全归约微基准测试来验证集群及其网络。在 NCCL 测试运行期间，观察到所有 GPU 的利用率和所有 EFA 适配器上的流量，即可确认集群工作正常。你还可以使用 NVIDIA aiperf 工具测量已部署模型的性能。aiperf 输出显示关键性能指标（KPI），如首 token 时间（TTFT）、token 间延迟（ITL）和每秒 token 数（TPS）吞吐量。通过在不同并发级别下进行这些测量，可以研究延迟和吞吐量如何依赖并发请求数，这对于规划容量和模型部署拓扑至关重要。
并发扫描图比较了聚合和分离部署，显示 Nemotron 3.5 Super VL 的推理在分离部署下具有更低的 TTFT，而 ITL 大致相同。此类图表可用于制定部署决策：绘制延迟预算水平线，例如 TTFT 低于 600 毫秒、ITL 低于 100 毫秒/token，然后找到满足所有线条的最右侧点，即单个副本在服务等级目标（SLO）内可提供的吞吐量。要规划容量，可将目标每秒 token 数除以每个副本的吞吐量，得出需要部署的预填充-解码对数量。在更改（精度、TP/PP 形状、聚合与分离、新的 Dynamo 或 vLLM 版本）后重新运行相同的扫描，可以立即看到权衡变化。曲线向右下方移动即为改进。由于 TTFT 和 ITL 分别绘制，还可以判断需要扩展哪一侧：ITL 上升表示需要增加解码容量，TTFT 上升表示需要增加预填充容量。
总之，本文涵盖了在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上使用 NVIDIA Dynamo 和 vLLM 服务 NVIDIA Nemotron 模型的架构和性能评估模式。要开始使用，请使用参考实现在自己的账户中部署 Nemotron 3.5 Super VL。AI on EKS 项目中还提供了更多推理蓝图。