NVIDIA、NVFP4を用いた4ビット事前学習手法を発表—12BハイブリッドMamba-Transformerで10Tトークン規模で検証

NVIDIAは、BlackwellアーキテクチャのTensor Coreがネイティブでサポートする4ビットマイクロスケーリングフォーマット「NVFP4」を用いた大規模言語モデルの事前学習手法を発表した。本手法は、120億パラメータのハイブリッドMamba-Transformerモデルを10兆トークンで訓練することにより検証され、これは公開文献上最長の4ビット精度での訓練実行である。結果として、MMLU-Pro（5-shot）で62.58%の精度を達成し、FP8ベースラインの62.62%にほぼ匹敵する性能を示した。

NVFP4の核心はマイクロスケーリング設計にある。MXFP4が32要素ブロックとUE8M0スケール因子を用いるのに対し、NVFP4は16要素ブロックとE4M3スケール因子を採用し、さらにFP32のテンソル単位スケールを追加する。これにより各ブロック内の少なくとも6.25%の値（ブロック内絶対最大値）がFP8近傍の精度で表現され、残りは4ビット精度となる。Blackwell GPUでは、FP4行列積（GEMM）のスループットはBF16の4倍（GB200）または6倍（GB300）に達し、FP8と比較してそれぞれ2倍、3倍の高速化に相当する。

注目すべきは、4ビット訓練が全グラフに適用されるわけではない点である。NVFP4で量子化されるのは線形層のFprop、Dgrad、Wgradの3つのGEMMのみであり、埋め込み層、出力ヘッド、正規化層、非線形活性化関数、注意機構内のソフトマックスやQK/V行列積はBF16またはFP32で保持される。マスターウェイトや最適化器状態はFP32で管理される。この選択的量子化戦略が効率と精度のバランスを実現している。

収束を保証するために、研究チームは4つの重要な手法を導入した。第一に、選択的高精度化：約16%の線形層（最初の2ブロックと最後の8ブロック）をBF16に維持する。最後のブロックは動的範囲の要求が高いためである。第二に、ランダムアダマール変換（RHT）：重み勾配計算の入力に16×16アダマール行列とランダムな±1符号ベクトルを適用し、外れ値をほぼガウス分布に分散させる。数学的な補正は不要である。第三に、2次元重みブロックスケーリング：重みに16×16ブロックスケーリングを用いることで、前向きと逆向きで同じ量子化表現が使われ、重み転置による連鎖律の破れを防ぐ。第四に、勾配の確率的丸め：四捨五入を確率的に置き換え、系統的バイアスを除去する。アブレーション研究により、各要素が不可欠であることが確認されている。

性能比較では、8BモデルにおいてNVFP4は1TトークンでBF16比相対損失差約1.5%を達成したのに対し、MXFP4は同損失に達するまでに1.36Tトークン（36%増）を要した。12Bモデルでは、NVFP4の検証損失は安定フェーズでFP8の1%以内、減衰フェーズで1.5%超に留まった。下流ベンチマークでは多くのタスクでFP8と同等の結果を得たが、HumanEval+やMBPP+などのコーディングタスクではやや劣る（それぞれ2.5ポイント、3.2ポイント差）。研究チームはこれを最終チェックポイント評価のノイズによるものとしている。また、訓練後期に順伝搬をBF16に切り替える精度スイッチング手法により、相対損失誤差を1.5%から0.5%に低減できることも示された。

NVIDIAはTransformer EngineでNVFP4をサポートしており、本技術は大規模AI訓練の計算コストとメモリ使用量を大幅に削減しつつ、モデル品質を維持する道を開く。より長いコンテキストや大規模なモデルの訓練に重要な進展である。