MegaSlide-DiT：以内存为核心的适配与可变形局部注意力实现高效视频扩散

基于扩散变换器（DiT）的高分辨率视频扩散模型能够生成极其逼真的图像和视频，但其巨大的参数量和对内存的需求远远超出了单个工作站的承载能力。例如，一个超过1000亿参数的DiT模型需要超过1TB的持久化状态来存储权重、优化器状态等，而传统时空自注意力机制的计算复杂度随序列长度呈平方增长，导致激活内存也迅速膨胀。这“两堵墙”——参数内存墙和激活内存墙——使得研究人员在没有大规模GPU集群的情况下，几乎无法适配这些庞大的生成模型。

来自研究者Jiacheng Liu和Jason Liu的最新论文MegaSlide-DiT从一个新颖的系统级视角重新审视了这一问题。他们提出了一套原型方案，证明可以在配备1.5 TB主机内存的单块NVIDIA H200 GPU上，成功适配一个预训练的105B参数DiT模型。其核心洞察在于：GPU无需拥有整个模型状态。具体来说，所有持久化的权重、主权重和优化器状态都保留在主机内存中，只有临时计算所需的分片被按需流式传输到GPU。这种方法极大地降低了对GPU显存的要求。

与此同时，研究者用创新的3D可变形滑动注意力（3D-DSA）取代了传统的二次复杂度全局注意力。3D-DSA是一种运动自适应的局部注意力算子，它通过关注视频帧中随时间变化的局部区域，将注意力的内存和计算复杂度都降低到序列长度的线性级别。这一设计不仅大幅节省了显存，还显著加快了计算速度。

论文提供了详细的内存占用统计、执行轨迹和评估结果来支撑其设计。需要注意的是，MegaSlide-DiT并非声称能在单GPU上从头训练105B模型，也没有神奇地解决带宽限制问题——它本质上提供了一条在高端工作站上对大规模视频扩散模型进行全参数适配的实用路径。这项研究为降低大规模AI模型部署的门槛提供了重要参考，尤其对资金有限的研究团队和中小企业具有重大意义。