Unsloth と NVIDIA がコンシューマーGPUでのLLMトレーニングを25%高速化した方法

Unsloth と NVIDIA は協力して、コンシューマーGPU上でのLLMファインチューニングを最適化し、約25%の高速化を実現しました。その手法は、パックシーケンスメタデータのキャッシュ化（レイヤー間の再構築回避）、ダブルバッファリングによる勾配チェックポイント再ロード（コピーと計算のオーバーラップ）、MoEルーティングのグループ化による最適化の3つです。ベンチマークでは、Qwen3-14Bでバッチあたり最大14.3%、8B～32Bの高密度モデルで4.6～8.4%、GPT-OSS MoE構成で10～15%の高速化を確認しています。