更稀疏、更快、更轻的Transformer语言模型

Sakana AI与英伟达合作，引入了新的稀疏数据结构与GPU内核，利用非结构化稀疏性提升大语言模型（LLM）的推理与训练效率。该工作将在ICML 2026上展示。通过L1正则化，ReLU激活的LLM可实现超过95%的稀疏性，且下游性能几乎无损。基于自研的TwELL格式与融合多重矩阵乘法的CUDA内核，在H100 GPU上实现了批处理推理与训练超过20%的加速，同时降低了能耗与内存需求。