SANA-Streaming 是一篇于2026年5月28日提交到 arXiv 的计算机视觉与模式识别(cs.CV)论文,同时归类于人工智能(cs.AI)方向,由 Yuyang Zhao 领衔、共 9 位作者合作完成。该研究的核心目标是解决实时流式视频到视频编辑(V2V)这一难题。此类能力对直播、游戏等交互式应用至关重要,但要在消费级 GPU 上同时满足严格的时间一致性与推理吞吐要求,难度极大。为此,作者提出了一套系统与算法协同设计的框架,并给出了三项关键设计。
第一项设计是混合扩散 Transformer 架构。该架构在部分模块中引入 softmax 注意力,以增强模型对局部信息的建模能力,同时在其余部分保留线性层的效率优势,从而在质量与速度之间取得平衡。第二项设计名为循环反向正则化(Cycle-Reverse Regularization),是一种新的训练策略:它通过流匹配(flow matching)从生成内容反向预测源帧,以此强制语义一致性。这一方法的巧妙之处在于,无需依赖成对的长时编辑视频数据,就能显著提升时间一致性,降低了训练数据获取的门槛。
第三项设计是高效的系统协同优化,包括融合的 GDN 内核以及面向 NVIDIA Blackwell(RTX 5090)架构优化的混合精度量化(MPQ)。作者通过对真实吞吐进行性能剖析,使 MPQ 在保持生成质量的同时最大化 Tensor Core 的利用率。
在实测结果方面,该系统在单块 RTX 5090 GPU 上实现了 1280 x 704 分辨率的实时编辑,端到端帧率达到 24 FPS,而 DiT 核心部分的运行速度可达 58 FPS。实验表明,这种软硬件协同设计的方法在时间连贯性和系统吞吐两方面都明显优于现有的最先进方法。论文全文可通过 arXiv:2605.30409v1 获取,DOI 为 10.48550/arXiv.2605.30409,提交时文件大小约 3,861 KB。