更稀疏、更快、更輕的Transformer語言模型

Sakana AI與輝達合作，引入了新的稀疏資料結構與GPU核心，利用非結構化稀疏性提升大語言模型（LLM）的推理與訓練效率。該工作將在ICML 2026上展示。透過L1正則化，ReLU啟用的LLM可實現超過95%的稀疏性，且下游效能幾乎無損。基於自研的TwELL格式與融合多重矩陣乘法的CUDA核心，在H100 GPU上實現了批處理推理與訓練超過20%的加速，同時降低了能耗與記憶體需求。