利用适度非结构化稀疏权重矩阵加速大语言模型的GPU推理
本文提出了一种针对大语言模型推理的高效GPU方法，采用三层矩阵存储格式，包括稀疏张量核心层、插槽填充层和残差层，实现稀疏矩阵乘法，在50%稀疏度下首次超越密集矩阵乘法，最高可达1.64倍内核加速和1.41倍端到端加速。
来源arXiv Machine Learning作者: Tao Lu, Haoyu Wang, Zonghui Wang, Keshen Xiang, Jiaheng Zhang, Wenzhi Chen
随着大语言模型（LLM）的广泛部署，推理成本已成为关键挑战。剪枝技术通过引入权重矩阵的稀疏性来加速推理，但为了保持模型质量，通常只能将剪枝限制在适度非结构化稀疏度（约50%）范围内。然而，在现有的GPU上，针对这种稀疏度的稀疏矩阵乘法（SpMM）内核均无法超越密集矩阵乘法的性能。本文提出了一种高效的GPU推理方法，专门针对具有适度非结构化稀疏度的LLM。
该方法的核心是一种创新的三层矩阵存储格式：第一层是稀疏张量核心层（Sparse-TC），利用NVIDIA的稀疏张量核心加速SpMM；第二层是插槽填充层（Slot-Filling），采用并行差分距离对矩阵进行压缩，并支持低成本的片上解码；第三层是轻量级残差层（Residual），确保SpMM计算的正确性。基于这一格式，作者设计了一个联合利用稀疏张量核心和CUDA核心的SpMM内核，实现了高效的执行流水线，并重叠了片上计算与内存访问。
在配备高带宽内存（HBM）的现代GPU上进行的评估表明，该工作是首个在50%稀疏度下超越密集矩阵乘法的工作。与现有最佳方法相比，内核算加速比最高达到SpInfer（EuroSys'25最佳论文）的1.64倍，端到端加速比最高达到FlashLLM（VLDB'24）的1.41倍。该论文已被DAC 2026接收，源代码已在GitHub上公开。这一成果有望显著降低LLM推理成本，推动剪枝技术在实际部署中的应用。