MoonMath AI 开源 AMD MI300X 的 HIP 注意力内核,在各项指标和舍入模式下均超越 AITER v3
MoonMath AI 团队发布了针对 AMD MI300X GPU 的 bf16 前向注意力内核,采用 HIP 编写并以 MIT 许可开源。该内核通过单指令汇编包装器和八波流水线等创新技术,在测试的各种形状和舍入模式下均优于 AMD 自家的优化内核 AITER v3,几何平均加速比达 1.08× 到 1.18×。关键加速来自内存布局优化(K 置于 LDS,V 置于 L1,Q 和累加器置于寄存器),同时已实际应用于 Wan2.1 视频扩散模型,端到端性能提升 1.23× 且无质量退化。
MoonMath AI 开源 AMD MI300X 的 HIP 注意力内核,在各项指标和舍入模式下均超越 AITER v3
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。