NVIDIA AI发布Nemotron 3 Ultra:一个开放的550B混合专家混合Mamba-Transformer用于长时间运行的智能体
NVIDIA发布了Nemotron 3 Ultra,这是一个550B总参数(55B活跃)的开放混合专家(MoE)模型,采用混合Mamba-Attention架构,专为长时间运行的智能体设计。它支持100万token的上下文,推理吞吐量比同类开放LLM高出约6倍,同时保持相同精度,并附带开放权重、训练数据和配方,采用OpenMDW-1.1许可。
NVIDIA AI发布Nemotron 3 Ultra:一个开放的550B混合专家混合Mamba-Transformer用于长时间运行的智能体
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。