跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Sol视频推理引擎:面向高效视频生成的智能体原生全栈加速框架

文章摘要

现代视频扩散模型通过扩展规模提升了生成质量,但也带来了高昂的推理成本。Sol视频推理引擎提出了一种无需训练的智能体加速框架,通过缓存、稀疏注意力、token剪枝、量化和内核融合五种技术,针对具体模型、硬件和配置进行实例特定优化。在三个不同规模的视频模型上,该框架实现了超过2倍的端到端加速,同时几乎不损失VBench质量指标。

来源arXiv Computer Vision作者: Yitong Li, Junsong Chen, Haopeng Li, Haozhe Liu, Jincheng Yu, Ligeng Zhu, Ping Luo, Song Han, Enze Xie
Sol视频推理引擎:面向高效视频生成的智能体原生全栈加速框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

现代视频扩散模型通过扩大模型规模和增加计算量,显著提升了生成视频的质量。然而,这种性能提升伴随着推理成本的急剧增加,限制了模型的实际部署。目前已有的加速方法大多针对特定场景设计,但最佳策略往往高度依赖于具体的模型架构、硬件平台和推理配置。例如,一个对某模型有效的缓存策略可能无法直接迁移到另一个模型,或者在不同分辨率或视频长度下表现迥异。这种实例特异性使得手动调优变得繁琐且成本高昂。

针对这一挑战,来自学术界的研究人员提出了Sol视频推理引擎,这是一个创新的、无需额外训练的加速框架。该框架采用智能体(Agent)原生设计,将五种广泛适用的加速技术——缓存、稀疏注意力、Token剪枝、量化和内核融合——组织成一个可自动优化的加速栈。其核心工作流程包括:针对具体的部署目标(即特定的模型、硬件和服务配置),多个并行技能智能体分别优化各项技术的实现;随后,一个智能体集成器将这些优化后的技术组合成全局加速流水线;最后,人类验证器对生成质量进行反馈,确保加速不损害输出效果。

Sol引擎的核心优势在于其智能体架构能够自动适应不同的模型、硬件和配置组合。模型架构的差异(如参数量、数值敏感度、注意力集中模式)以及推理设置(空间和时间分辨率、视频时长)都会影响最优加速策略。硬件平台的异质性(内存层次结构、支持的数值格式、内核吞吐量)进一步扩大了调优空间。Sol引擎通过并行技能智能体分别探索这些技术的最优实现,然后由集成器组合成整体加速栈,无需人工逐一调参。

研究团队在三个不同规模和架构的视频模型上验证了Sol引擎的有效性:包括具有640亿参数的Cosmos3-Super、220亿参数的LTX-2.3以及20亿参数的SANA-Video。实验结果显示,在仅需少量人工干预的情况下,该全栈加速框架实现了超过2倍的端到端推理加速,同时维持了几乎无损的VBench质量评分,证明了智能体框架在视频扩散模型加速中的巨大潜力。这项研究为未来高效视频生成的實際部署提供了一条有前景的新路径,相关论文已发表于arXiv (arXiv:2606.23743)。传统加速方法通常需要为每个部署场景手动选择和应用技术,而Sol引擎利用智能体自动化了这一过程,有望大幅降低视频模型推理的成本和门槛。

展开要点与分析

文章情报

工程师进阶

要点

  • 视频扩散模型推理加速面临实例特异性挑战,不同模型、硬件和配置需要不同策略。
  • Sol引擎采用智能体架构,并行优化五种加速技术并由集成器组合成全局栈。
  • 在64B Cosmos3-Super、22B LTX-2.3和2B SANA-Video上验证,实现2倍以上加速且质量近乎无损。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。