リアルタイムストリーミングビデオツービデオ(V2V)編集は、ライブ配信やゲーミングなどのインタラクティブなアプリケーションにとって極めて重要であるが、時間的一貫性と推論スループットに対する厳しい要件のため、依然として大きな課題である。本論文では、コンシューマGPU上で高解像度リアルタイムストリーミングビデオ編集を実現するためのシステム・アルゴリズム協調設計フレームワークであるSANA-Streamingを提案する。本論文はYuyang Zhaoら9名の著者によって執筆され、2026年5月28日にarXiv(2605.30409)に提出された。対象分野はコンピュータビジョンとパターン認識(cs.CV)および人工知能(cs.AI)である。
SANA-Streamingの核心となる設計は3つある。第一に、ハイブリッド拡散Transformerアーキテクチャは、一部のブロックにsoftmax注意を導入して局所モデリング能力を向上させつつ、線形層の効率を保持する。第二に、循環逆正則化は新しい訓練戦略であり、フローマッチングを介して生成コンテンツからソースフレームを予測することで意味的一貫性を強制し、ペアの長い編集動画を必要とせずに時間的一貫性を改善する。第三に、効率的なシステム協調設計は、融合GDNカーネルと混合精度量子化(MPQ)を組み合わせ、NVIDIA Blackwell(RTX 5090)アーキテクチャ向けに最適化されている。実世界のスループットをプロファイリングすることで、MPQは生成品質を維持しながらTensor Coreの利用率を最大化する。
実験結果は、このシステムが単一のRTX 5090 GPU上で1280x704解像度のリアルタイム編集をエンドツーエンド24 FPSで実現し、DiTコアが58 FPSで動作することを示している。既存の最先端手法と比較して、この協調設計アプローチは時間的コヒーレンスとシステムスループットの両方で大幅に優れている。本研究は、コンシューマハードウェア上でのリアルタイムビデオ編集の実用的な展開に道を開き、インタラクティブメディアアプリケーションのさらなる発展を促進する可能性がある。