Unsloth 与 NVIDIA 如何让消费级 GPU 上的大模型训练提速 25%

Unsloth 与 NVIDIA 合作，通过三项优化消除了大模型微调中的性能瓶颈，在消费级 GPU 上实现约 25% 的训练加速。这些优化包括缓存打包序列元数据以避免跨层重复重建、使用双缓冲梯度检查点重载以隐藏拷贝延迟，以及优化 MoE 路由以减少动态索引开销。实测显示，Qwen3-14B 的 QLoRA SFT 每批次提速 14.3%，8B 至 32B 的稠密模型提速 4.6% 至 8.4%，GPT-OSS 配置的 MoE 路由提速约 10-15%。