跳到主要内容
AI News HubLIVE
更多
仅摘要

NVIDIA AI 发布 Gated DeltaNet-2：一种在 Delta 规则中解耦擦除和写入的线性注意力层

NVIDIA 推出的 Gated DeltaNet-2 是一种线性注意力层，通过通道级擦除门和写入门解耦了记忆更新中的擦除与写入操作。在 1.3B 参数、100B FineWeb-Edu 令牌上训练，该模型在语言建模、常识推理和长上下文检索上超越了 Mamba-2、Gated DeltaNet、KDA 和 Mamba-3，尤其在 RULER 长上下文检索中提升显著。

来源MarkTechPost作者: Asif Razzaq
NVIDIA AI 发布 Gated DeltaNet-2：一种在 Delta 规则中解耦擦除和写入的线性注意力层
报告错误

纠错通道尚未开通，可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • Gated DeltaNet-2 将标量门分解为通道级的擦除门（键轴）和写入门（值轴），分别控制旧内容的擦除和新内容的写入。
  • 该模型在 1.3B 参数下训练于 100B FineWeb-Edu 令牌，与基线模型相比，在多种基准测试中取得最佳平均表现。
  • 在 RULER 长上下文检索任务中，Gated DeltaNet-2 在 S-NIAH-3（2K）和 MK-NIAH-1（4K）上分别提升至 89.8 和 37.8，远超 KDA。

要点与分析由自动化流程生成，可能有误，请结合原始来源核实。