跳到主要內容
AI News HubLIVE
更多
僅摘要

NVIDIA發佈Nemotron-Labs-Diffusion:三模式語言模型,前向令牌數達Qwen3-8B的6倍

NVIDIA推出Nemotron-Labs-Diffusion模型家族,在單一架構中統一自迴歸解碼、擴散並行解碼和自推測解碼。支持3B、8B和14B參數規模,包含基礎、指令和視覺語言變體。自推測模式通過擴散生成候選令牌,再由自迴歸驗證,無需輔助模型。在8B規模下,線性自推測較Qwen3-8B實現6倍前向令牌數,準確率63.61%,優於Qwen3-8B的62.75%。佈署靈活,適用於不同併發場景。

來源MarkTechPost作者: Asif Razzaq
NVIDIA發佈Nemotron-Labs-Diffusion:三模式語言模型,前向令牌數達Qwen3-8B的6倍
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • Nemotron-Labs-Diffusion是NVIDIA研發的三模式語言模型,統一自迴歸、擴散和自推測解碼於一體,無需修改架構。
  • 8B模型自推測模式可達5.99×令牌/前向,準確率63.61%,超過Qwen3-8B。
  • 訓練採用聯合AR-擴散目標,兩階段訓練,並從Ministral3基礎模型初始化,在256塊H100 GPU上進行。
  • 模型已開源,兼容Hugging Face和transformers≥5.0.0,支持即插即用的三種解碼模式。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。