Baseten 的模型性能团队近日宣布，在开源文本到视频生成模型 Wan 2.2 上实现了里程碑式的推理性能突破。通过多层次的优化组合，他们将单段视频的生成时间从超过两分钟压缩至不到三秒，实现了 53.6 倍的加速。这一成果使实时视频生成成为可能，并显著降低了计算成本，每段视频的成本从 5 美分降至不到 0.17 美分，成本降低了 31 倍。
团队采用了三项关键技术：时间步蒸馏、自定义内核优化和 NVFP4 量化。时间步蒸馏通过后训练将扩散步骤从默认的 40 到 80 步减少到仅 4 步，实现了约 20 倍的加速。虽然这会引入一些视觉伪影，但为了实时性能这是必要的。自定义内核优化针对自注意力瓶颈，团队编写了自定义 Triton 内核，比默认的 VSA 内核快 1.58 倍，并通过内核融合将多个操作合并，减少了数百次内核启动开销。NVFP4 量化将权重从 16 位降至 4 位，在 B200 GPU 上获得了约 4 倍的张量核心吞吐量提升。这些优化相乘，带来了整体 53.6 倍的速度提升。
除了推理优化，Baseten 还构建了可扩展的推理基础设施。由于视频生成以批大小为 1 运行，水平扩展至关重要。团队利用 Baseten Delivery Network 加速冷启动，并实现了自动扩缩容和优先级队列，确保付费用户请求优先处理。此外，他们训练了一个自定义分类器作为内容安全护栏，有效防止 NSFW 等不当输出，分类器在几毫秒内判断 prompt 是否允许。
目前，该实时视频推理服务已作为限时演示开放，用户可免费体验至 2026 年 7 月 31 日。Baseten 表示，这一演示旨在展示其运行时、基础设施和安全护栏的综合能力，并期待与开发者和实验室合作，推动下一代视频生成技术。