NVIDIA引入基於NVFP4的4位預訓練方法，在10T Token規模下驗證12B混合Mamba-Transformer模型

NVIDIA提出了一種基於NVFP4 4位微縮放格式的預訓練方法，該方法在Blackwell張量核心上原生支援，並透過訓練一個120億引數的混合Mamba-Transformer模型（使用10萬億token）進行了驗證。這是公開文獻中時間最長的4位預訓練執行。相比FP8基線（MMLU-Pro 5-shot準確率62.62%），NVFP4達到了62.58%，幾乎無損。該技術僅將線性層中的GEMM操作量化為NVFP4，而嵌入層、歸一化層、注意力機制等保持BF16或FP32。四種關鍵技術——選擇性高精度層、隨機哈達瑪變換、2D權重塊縮放和梯度隨機舍入——共同確保了訓練穩定性。與MXFP4相比，NVFP4在相同token預算下實現了更低的損失，且預計在GB200和GB300上分別實現2倍和3倍的算術吞吐量提升。