跳到主要內容
AI News HubLIVE
更多
僅摘要

NVIDIA釋出Nemotron-Labs-TwoTower:基於凍結自迴歸骨幹網路的開放權重擴散語言模型

NVIDIA釋出了Nemotron-Labs-TwoTower擴散語言模型,該模型採用雙塔架構,在凍結的自迴歸骨幹網路上新增訓練過的去噪器,實現了2.42倍的生成吞吐量提升,同時保留了98.7%的基準質量。模型以開放權重形式釋出,支援擴散、模擬自迴歸和自迴歸三種推理模式。

來源MarkTechPost作者: Asif Razzaq
NVIDIA釋出Nemotron-Labs-TwoTower:基於凍結自迴歸骨幹網路的開放權重擴散語言模型
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • TwoTower將擴散過程拆分為凍結的AR上下文塔和訓練過的去噪器塔。
  • 在預設配置下,吞吐量提升2.42倍,質量保留98.7%。
  • 去噪器僅基於約2.1萬億token訓練,骨幹網路已預訓練25萬億token。
  • 單個檢查點支援擴散、模擬自迴歸和自迴歸三種解碼模式。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

NVIDIA釋出Nemotron-Labs-TwoTower:基於凍結自迴歸骨幹網路的開放權重擴散語言模型 | AI News Hub