mKernel：多GPU、多節點融合內核庫，實現GPU驅動通信
加州大學伯克利分校UCCL團隊發佈mKernel，將節點內NVLink、節點間RDMA和密集計算融合到單個持久CUDA內核中，旨在減少AI工作負載中的通信開銷。研究顯示通信可佔用前向傳播43.6%和訓練總時間32%的時間。mKernel提供五種融合內核，支持ConnectX-7和AWS EFA後端。
mKernel：多GPU、多節點融合內核庫，實現GPU驅動通信
本文僅提供摘要
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。