跳到主要内容
AI News HubLIVE
更多
仅摘要

NVIDIA AI发布Nemotron 3 Ultra:一个开放的550B混合专家混合Mamba-Transformer用于长时间运行的智能体

NVIDIA发布了Nemotron 3 Ultra,这是一个550B总参数(55B活跃)的开放混合专家(MoE)模型,采用混合Mamba-Attention架构,专为长时间运行的智能体设计。它支持100万token的上下文,推理吞吐量比同类开放LLM高出约6倍,同时保持相同精度,并附带开放权重、训练数据和配方,采用OpenMDW-1.1许可。

来源MarkTechPost作者: Asif Razzaq
NVIDIA AI发布Nemotron 3 Ultra:一个开放的550B混合专家混合Mamba-Transformer用于长时间运行的智能体
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • Nemotron 3 Ultra采用混合Mamba-Attention架构,Mamba层实现亚二次方扩展,注意力层保证精确召回。
  • 模型总参数550B,每token仅激活55B,通过LatentMoE和多令牌预测提高效率。
  • 后训练采用多教师在线策略蒸馏(MOPD),集成10多个专业教师模型到单个学生模型中。
  • 支持三种推理模式,包括中等努力模式,可减少约2.5倍令牌数,精度仅下降约7%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。