如何使用 NVIDIA Apex（FusedAdam、FusedLayerNorm）和原生 torch.amp 加速 Transformer 训练

要点

• 从源码构建 Apex 并检测可用融合内核。
• 基准测试显示 FusedAdam 和 FusedLayerNorm 相比标准 PyTorch 实现有显著加速。
• 展示如何使用 torch.amp 进行混合精度训练，替代已弃用的 apex.amp。
• 端到端 Transformer 实验表明，使用 Apex 融合组件和 AMP 可获得约 1.5 倍的吞吐量提升。