如何使用 NVIDIA Apex（FusedAdam、FusedLayerNorm）和原生 torch.amp 加速 Transformer 訓練

要點

• 從源碼構建 Apex 並檢測可用融合內核。
• 基準測試顯示 FusedAdam 和 FusedLayerNorm 相比標準 PyTorch 實現有顯著加速。
• 展示如何使用 torch.amp 進行混合精度訓練，替代已棄用的 apex.amp。
• 端到端 Transformer 實驗表明，使用 Apex 融合組件和 AMP 可獲得約 1.5 倍的吞吐量提升。