NVIDIA AI、Deltaルールにおける消去と書き込みを分離する線形注意機構「Gated DeltaNet-2」を公開

NVIDIAのGated DeltaNet-2は、線形注意機構においてメモリ更新時の消去と書き込みをチャネル単位のゲートに分離したモデルです。1.3Bパラメータ、100B FineWeb-Eduトークンでトレーニングされ、言語モデリング、常識推論、長文脈検索でMamba-2、Gated DeltaNet、KDA、Mamba-3を上回り、特にRULERベンチマークで大きな向上を示しました。