NVIDIA、NVFP4を用いた4ビット事前学習手法を発表—12BハイブリッドMamba-Transformerで10Tトークン規模で検証

NVIDIAは、Blackwell Tensor Coreでネイティブサポートされる4ビットマイクロスケーリングフォーマットNVFP4を基盤とした事前学習手法を発表。120億パラメータのハイブリッドMamba-Transformerを10兆トークンで訓練し、MMLU-ProでFP8ベースラインの62.62%に対し62.58%とほぼ同等の精度を達成。線形層のGEMMのみをNVFP4で量子化し、その他はBF16/FP32を維持。選択的高精度層、ランダムアダマール変換、2Dウェイトスケーリング、確率的丸めの4手法で収束を実現。MXFP4と比較して同トークン数で低損失、GB300でFP8比3倍のスループット向上。