中程度の非構造的疎重み行列を用いた大規模言語モデルのGPU推論高速化
本論文では、大規模言語モデル推論のための効率的なGPU手法を提案。3層の行列ストレージ形式（スパーステンソルコア層、スロットフィリング層、残差層）を用い、50%程度の疎密度で初めて密行列乗算を凌駕する性能を達成。SpInfer比最大1.64倍のカーネル高速化、FlashLLM比最大1.41倍のエンドツーエンド高速化を実現。
大規模言語モデル（LLM）の展開が進むにつれ、推論コストが重要な課題となっています。プルーニング技法は重み行列に疎性を導入することで推論を高速化できますが、モデル品質を維持するためには通常、中程度の非構造的疎性（約50%）に制限されます。この疎性レベルでは、既存のGPU用疎行列乗算（SpMM）カーネルは密行列乗算を上回ることができません。本論文では、このような中程度の疎性を持つLLMに対する効率的なGPU推論手法を提案します。
提案手法の中核は、3層からなる行列ストレージ形式です。第1層はスパーステンソルコア層（Sparse-TC）で、NVIDIAのスパーステンソルコアを活用してSpMMを高速化します。第2層はスロットフィリング層（Slot-Filling）で、並列差分距離を用いて行列を圧縮し、低コストなオンチップデコードを実現します。第3層は軽量な残差層（Residual）で、SpMM計算の正確性を保証します。この形式に基づき、スパーステンソルコアとCUDAコアを併用するSpMMカーネルを設計し、効率的な実行パイプラインとオンチップ計算とメモリアクセスのオーバーラップを実現します。
高帯域メモリ（HBM）を搭載した現代のGPUでの評価により、本手法は50%の疎密度で初めて密行列乗算を凌駕することが示されました。既存の最良手法と比較して、カーネルレベルではSpInfer（EuroSys'25最優秀論文）比最大1.64倍、エンドツーエンドではFlashLLM（VLDB'24）比最大1.41倍の高速化を達成しました。本論文はDAC 2026に採択され、ソースコードはGitHubで公開されています。この成果はLLMの推論コストを大幅に削減し、プルーニング技術の実運用への応用を促進することが期待されます。