跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

SANA-Streaming:基于混合扩散Transformer的实时流式视频编辑

文章摘要

SANA-Streaming提出了一种系统与算法协同设计的框架,用于在消费级GPU上实现高分辨率实时流式视频编辑。其核心设计包括混合扩散Transformer架构、循环逆向正则化训练策略以及针对NVIDIA Blackwell架构优化的高效系统协同设计。该系统在单张RTX 5090 GPU上实现了1280x704分辨率、24端到端FPS的实时编辑,DiT核心运行速度达58 FPS。

来源arXiv Computer Vision作者: Yuyang Zhao, Yicheng Pan, Qiyuan He, Jincheng Yu, Junsong Chen, Tian Ye, Haozhe Liu, Enze Xie, Song Han
SANA-Streaming:基于混合扩散Transformer的实时流式视频编辑
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

SANA-Streaming 是一篇于2026年5月28日提交到 arXiv 的计算机视觉与模式识别(cs.CV)论文,同时归类于人工智能(cs.AI)方向,由 Yuyang Zhao 领衔、共 9 位作者合作完成。该研究的核心目标是解决实时流式视频到视频编辑(V2V)这一难题。此类能力对直播、游戏等交互式应用至关重要,但要在消费级 GPU 上同时满足严格的时间一致性与推理吞吐要求,难度极大。为此,作者提出了一套系统与算法协同设计的框架,并给出了三项关键设计。

第一项设计是混合扩散 Transformer 架构。该架构在部分模块中引入 softmax 注意力,以增强模型对局部信息的建模能力,同时在其余部分保留线性层的效率优势,从而在质量与速度之间取得平衡。第二项设计名为循环反向正则化(Cycle-Reverse Regularization),是一种新的训练策略:它通过流匹配(flow matching)从生成内容反向预测源帧,以此强制语义一致性。这一方法的巧妙之处在于,无需依赖成对的长时编辑视频数据,就能显著提升时间一致性,降低了训练数据获取的门槛。

第三项设计是高效的系统协同优化,包括融合的 GDN 内核以及面向 NVIDIA Blackwell(RTX 5090)架构优化的混合精度量化(MPQ)。作者通过对真实吞吐进行性能剖析,使 MPQ 在保持生成质量的同时最大化 Tensor Core 的利用率。

在实测结果方面,该系统在单块 RTX 5090 GPU 上实现了 1280 x 704 分辨率的实时编辑,端到端帧率达到 24 FPS,而 DiT 核心部分的运行速度可达 58 FPS。实验表明,这种软硬件协同设计的方法在时间连贯性和系统吞吐两方面都明显优于现有的最先进方法。论文全文可通过 arXiv:2605.30409v1 获取,DOI 为 10.48550/arXiv.2605.30409,提交时文件大小约 3,861 KB。

展开要点与分析

文章情报

工程师进阶

要点

  • 混合扩散Transformer在部分模块中引入softmax注意力以提升局部建模能力,同时保留线性层的高效性。
  • 循环逆向正则化通过流匹配从生成内容预测源帧,无需配对长编辑视频即可提升时序一致性。
  • 系统协同设计融合了GDN内核与混合精度量化,针对NVIDIA Blackwell(RTX 5090)架构优化,最大化Tensor Core利用率。
  • 在单张RTX 5090上实现1280x704分辨率、24端到端FPS的实时流式视频编辑,DiT核心达58 FPS。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。