跳到主要內容
AI News HubLIVE
更多
僅摘要

NVIDIA AI 發佈 Gated DeltaNet-2：一種在 Delta 規則中解耦擦除和寫入的線性注意力層

NVIDIA 推出的 Gated DeltaNet-2 是一種線性注意力層，通過通道級擦除門和寫入門解耦了記憶更新中的擦除與寫入操作。在 1.3B 參數、100B FineWeb-Edu 令牌上訓練，該模型在語言建模、常識推理和長上下文檢索上超越了 Mamba-2、Gated DeltaNet、KDA 和 Mamba-3，尤其在 RULER 長上下文檢索中提升顯著。

來源MarkTechPost作者: Asif Razzaq
NVIDIA AI 發佈 Gated DeltaNet-2：一種在 Delta 規則中解耦擦除和寫入的線性注意力層
報告錯誤

更正渠道尚未開通，可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • Gated DeltaNet-2 將標量門分解為通道級的擦除門（鍵軸）和寫入門（值軸），分別控制舊內容的擦除和新內容的寫入。
  • 該模型在 1.3B 參數下訓練於 100B FineWeb-Edu 令牌，與基線模型相比，在多種基準測試中取得最佳平均表現。
  • 在 RULER 長上下文檢索任務中，Gated DeltaNet-2 在 S-NIAH-3（2K）和 MK-NIAH-1（4K）上分別提升至 89.8 和 37.8，遠超 KDA。

要點與分析由自動化流程生成，可能有誤，請結合原始來源核實。