跳到主要内容
AI News HubLIVE
更多
仅摘要

NVIDIA发布Nemotron-Labs-Diffusion:三模式语言模型,前向令牌数达Qwen3-8B的6倍

NVIDIA推出Nemotron-Labs-Diffusion模型家族,在单一架构中统一自回归解码、扩散并行解码和自推测解码。支持3B、8B和14B参数规模,包含基础、指令和视觉语言变体。自推测模式通过扩散生成候选令牌,再由自回归验证,无需辅助模型。在8B规模下,线性自推测较Qwen3-8B实现6倍前向令牌数,准确率63.61%,优于Qwen3-8B的62.75%。布署灵活,适用于不同并发场景。

来源MarkTechPost作者: Asif Razzaq
NVIDIA发布Nemotron-Labs-Diffusion:三模式语言模型,前向令牌数达Qwen3-8B的6倍
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • Nemotron-Labs-Diffusion是NVIDIA研发的三模式语言模型,统一自回归、扩散和自推测解码于一体,无需修改架构。
  • 8B模型自推测模式可达5.99×令牌/前向,准确率63.61%,超过Qwen3-8B。
  • 训练采用联合AR-扩散目标,两阶段训练,并从Ministral3基础模型初始化,在256块H100 GPU上进行。
  • 模型已开源,兼容Hugging Face和transformers≥5.0.0,支持即插即用的三种解码模式。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。