现代视频扩散模型通过扩大模型规模和增加计算量,显著提升了生成视频的质量。然而,这种性能提升伴随着推理成本的急剧增加,限制了模型的实际部署。目前已有的加速方法大多针对特定场景设计,但最佳策略往往高度依赖于具体的模型架构、硬件平台和推理配置。例如,一个对某模型有效的缓存策略可能无法直接迁移到另一个模型,或者在不同分辨率或视频长度下表现迥异。这种实例特异性使得手动调优变得繁琐且成本高昂。
针对这一挑战,来自学术界的研究人员提出了Sol视频推理引擎,这是一个创新的、无需额外训练的加速框架。该框架采用智能体(Agent)原生设计,将五种广泛适用的加速技术——缓存、稀疏注意力、Token剪枝、量化和内核融合——组织成一个可自动优化的加速栈。其核心工作流程包括:针对具体的部署目标(即特定的模型、硬件和服务配置),多个并行技能智能体分别优化各项技术的实现;随后,一个智能体集成器将这些优化后的技术组合成全局加速流水线;最后,人类验证器对生成质量进行反馈,确保加速不损害输出效果。
Sol引擎的核心优势在于其智能体架构能够自动适应不同的模型、硬件和配置组合。模型架构的差异(如参数量、数值敏感度、注意力集中模式)以及推理设置(空间和时间分辨率、视频时长)都会影响最优加速策略。硬件平台的异质性(内存层次结构、支持的数值格式、内核吞吐量)进一步扩大了调优空间。Sol引擎通过并行技能智能体分别探索这些技术的最优实现,然后由集成器组合成整体加速栈,无需人工逐一调参。
研究团队在三个不同规模和架构的视频模型上验证了Sol引擎的有效性:包括具有640亿参数的Cosmos3-Super、220亿参数的LTX-2.3以及20亿参数的SANA-Video。实验结果显示,在仅需少量人工干预的情况下,该全栈加速框架实现了超过2倍的端到端推理加速,同时维持了几乎无损的VBench质量评分,证明了智能体框架在视频扩散模型加速中的巨大潜力。这项研究为未来高效视频生成的實際部署提供了一条有前景的新路径,相关论文已发表于arXiv (arXiv:2606.23743)。传统加速方法通常需要为每个部署场景手动选择和应用技术,而Sol引擎利用智能体自动化了这一过程,有望大幅降低视频模型推理的成本和门槛。