跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Latent Space Jam:布局引导的视频合成

文章摘要

该论文提出一种无需训练的视频生成控制方法,利用预训练视频扩散模型,通过两阶段流程按粗略布局控制物体位置与运动,在轨迹准确度和视觉质量上优于先前工作。

来源arXiv Computer Vision作者: Asaf Joseph, Moshe Mandel, Ohad Fried
Latent Space Jam:布局引导的视频合成
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 10 月 21 日发布了一篇新的计算机视觉论文,题为《Latent Space Jam: Layout Guided Video Synthesis》(潜空间碰撞:布局引导的视频合成),编号 arXiv:2610.30390v1,归类于计算机视觉与模式识别(cs.CV)。论文由 Asaf Joseph 与另外两位作者共同完成。根据提交记录,该版本于 2026 年 10 月 21 日星期三 19:48:57 UTC 上传,文件大小约 21,874 KB。DOI 为 https://doi.org/10.48550/arXiv.2610.30390,由 arXiv 通过 DataCite 发放,目前注册仍在处理中。

论文要解决的核心问题是视频生成中的可控性。作者指出,在视频生成模型中加入控制通常需要额外的训练,而这会带来额外的计算资源、数据需求或架构改动。为绕开这些成本,研究团队提出了一种免训练的方法,直接利用预训练的视频扩散模型,通过粗粒度布局来控制画面中物体的位置与运动。

该方法分为两个阶段。第一阶段通过提示引导的交叉注意力(prompt-guided cross-attention)操控物体在时空中的摆位,生成一段粗略的视觉引导;第二阶段则用这段引导作为条件输入,驱动同一个模型生成高质量且与布局一致的视频。由于两阶段共享同一预训练模型,整个流程无需任何额外训练即可运行。作者表示,这一设计能够实现具有较强时间一致性的协同运动,并支持多种轨迹形态与物体之间的交互。

在实验方面,论文称大量测试显示该方法在重叠准确度、轨迹准确度以及视觉质量上均稳定优于先前工作,覆盖静态场景、动态场景以及多物体场景等多种设置。需要注意的是,上述性能结论均来自作者自述,论文的正文、实验细节与对比基线尚需读者查阅 PDF 或实验性 HTML 版本自行评估。此外,该论文的引用信息、参考文献与引文数据仍在 arXiv 页面上加载中。

对于关注视频生成可控性的研究者而言,这项工作提供的思路是:不必重新训练模型,而是借助现有扩散模型的注意力机制与两阶段引导流程来实现布局控制,从而降低使用门槛与算力成本。后续值得关注的是该方法在不同基础模型上的泛化能力,以及在更复杂多物体交互场景中的表现。

展开要点与分析

文章情报

工程师进阶

要点

  • 方法无需额外训练、数据或架构改动,直接复用预训练视频扩散模型
  • 采用两遍流程:先以提示引导的交叉注意力生成粗略视觉引导,再以该引导条件化同一模型生成高质量视频
  • 支持多样轨迹与物体交互,并保持较强的时间一致性
  • 在静态、动态及多物体场景中,重叠与轨迹准确度及视觉质量均优于既有方法

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。