MLSysのためのモダンGPUプログラミング

本記事では、機械学習システム向けのモダンGPUプログラミングに関する包括的なガイドを紹介します。GPUハードウェアアーキテクチャ、プログラミングモデル、そしてTIRx DSLを使用したGEMMやFlashAttentionなどの主要カーネルの段階的最適化をカバーしています。CMUのコースに基づき、Blackwell GPU世代を対象としています。