mKernel：マルチGPU・マルチノード融合カーネルライブラリ、GPU駆動通信を実現

UC BerkeleyのUCCLチームがmKernelをリリース。ノード内NVLink、ノード間RDMA、高密度計算を単一の持続的CUDAカーネルに融合し、AIワークロードの通信オーバーヘッドを削減。通信はフォワードパスの43.6%、トレーニング時間の32%を占める可能性がある。5つの融合カーネルを提供し、ConnectX-7とAWS EFAバックエンドをサポート。