Unsloth 與 NVIDIA 如何讓消費級 GPU 上的大模型訓練提速 25%

Unsloth 與 NVIDIA 合作，通過三項優化消除了大模型微調中的性能瓶頸，在消費級 GPU 上實現約 25% 的訓練加速。這些優化包括緩存打包序列元數據以避免跨層重複重建、使用雙緩衝梯度檢查點重載以隱藏拷貝延遲，以及優化 MoE 路由以減少動態索引開銷。實測顯示，Qwen3-14B 的 QLoRA SFT 每批次提速 14.3%，8B 至 32B 的稠密模型提速 4.6% 至 8.4%，GPT-OSS 配置的 MoE 路由提速約 10-15%。