NVIDIA引入基于NVFP4的4位预训练方法，在10T Token规模下验证12B混合Mamba-Transformer模型

NVIDIA提出了一种基于NVFP4 4位微缩放格式的预训练方法，该方法在Blackwell张量核心上原生支持，并通过训练一个120亿参数的混合Mamba-Transformer模型（使用10万亿token）进行了验证。这是公开文献中时间最长的4位预训练运行。相比FP8基线（MMLU-Pro 5-shot准确率62.62%），NVFP4达到了62.58%，几乎无损。该技术仅将线性层中的GEMM操作量化为NVFP4，而嵌入层、归一化层、注意力机制等保持BF16或FP32。四种关键技术——选择性高精度层、随机哈达玛变换、2D权重块缩放和梯度随机舍入——共同确保了训练稳定性。与MXFP4相比，NVFP4在相同token预算下实现了更低的损失，且预计在GB200和GB300上分别实现2倍和3倍的算术吞吐量提升。