Unsloth 與 NVIDIA 如何讓消費級 GPU 上的大模型訓練提速 25%

Unsloth 與 NVIDIA 合作，透過三項最佳化消除了大模型微調中的效能瓶頸，在消費級 GPU 上實現約 25% 的訓練加速。這些最佳化包括快取打包序列後設資料以避免跨層重複重建、使用雙緩衝梯度檢查點過載以隱藏複製延遲，以及最佳化 MoE 路由以減少動態索引開銷。實測顯示，Qwen3-14B 的 QLoRA SFT 每批次提速 14.3%，8B 至 32B 的稠密模型提速 4.6% 至 8.4%，GPT-OSS 配置的 MoE 路由提速約 10-15%。