よりスパースで高速、軽量なTransformer言語モデル

Sakana AIはNVIDIAと協業し、非構造化スパース性を活用してLLMの推論と学習を効率化する新しいスパースデータ構造とGPUカーネルを発表しました。本研究成果はICML 2026で発表されます。ReLU活性化関数とL1正則化により、LLMは95%を超えるスパース性を達成し、下流性能への影響はわずかです。独自のTwELLフォーマットと複数行列積を融合するカスタムCUDAカーネルにより、H100 GPU上でバッチ推論と学習が20%以上高速化し、エネルギーとメモリ使用量も削減されます。