更稀疏、更快、更輕的Transformer語言模型

Sakana AI與英偉達合作，引入了新的稀疏數據結構與GPU內核，利用非結構化稀疏性提升大語言模型（LLM）的推理與訓練效率。該工作將在ICML 2026上展示。通過L1正則化，ReLU激活的LLM可實現超過95%的稀疏性，且下游性能幾乎無損。基於自研的TwELL格式與融合多重矩陣乘法的CUDA內核，在H100 GPU上實現了批處理推理與訓練超過20%的加速，同時降低了能耗與內存需求。