跳到主要内容
AI News HubLIVE
更多
仅摘要

NVIDIA发布Nemotron-Labs-TwoTower:基于冻结自回归骨干网络的开放权重扩散语言模型

NVIDIA发布了Nemotron-Labs-TwoTower扩散语言模型,该模型采用双塔架构,在冻结的自回归骨干网络上添加训练过的去噪器,实现了2.42倍的生成吞吐量提升,同时保留了98.7%的基准质量。模型以开放权重形式发布,支持扩散、模拟自回归和自回归三种推理模式。

来源MarkTechPost作者: Asif Razzaq
NVIDIA发布Nemotron-Labs-TwoTower:基于冻结自回归骨干网络的开放权重扩散语言模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • TwoTower将扩散过程拆分为冻结的AR上下文塔和训练过的去噪器塔。
  • 在默认配置下,吞吐量提升2.42倍,质量保留98.7%。
  • 去噪器仅基于约2.1万亿token训练,骨干网络已预训练25万亿token。
  • 单个检查点支持扩散、模拟自回归和自回归三种解码模式。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。