跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

LooseControlVideo:利用空间阻挡进行导演级视频控制

文章摘要

LooseControlVideo 提出了一种使用稀疏有向 3D 边界框作为“阻挡”代理的文本到视频生成控制方法,通过微调 Wan 2.2 骨干网络并引入 DNOCS 编码,在 nuScenes、HO-3D 和 BEHAVE 基准上显著提升了轨迹误差、刚性运动一致性和遮挡准确性。

来源arXiv Computer Vision作者: Shariq Farooq Bhat, Niloy J. Mitra, Kalyan Sunkavalli
LooseControlVideo:利用空间阻挡进行导演级视频控制
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在文本到视频生成领域,实现精确的三维空间编排一直是一项重大挑战,尤其是在涉及多个对象的场景中,语义布局与时间动态往往相互纠缠。现有的深度条件模型虽然能获得良好的结构保真度,但需要密集的、帧级精确的引导,对于涉及可变形对象的动态事件而言,制作这种引导非常费力。为了解决这一问题,研究人员提出了 LooseControlVideo,一个通过使用稀疏的有向三维边界框作为“阻挡”代理来实现直观且富有表现力控制的框架。

LooseControlVideo 的核心思想是让用户能够编写高层级的布局和轨迹,同时利用视频生成模型来生成逼真的遮挡、动态和交互。具体而言,该方法在带有 DNOCS 注释的视频数据集上微调了 Wan 2.2 骨干网络。DNOCS 是一种新颖的编码方式,用于表示三维尺寸、方向以及深度排序的遮挡关系。通过这种方式,模型能够理解由稀疏边界框所定义的场景结构,并生成符合物理规律和视觉合理性的视频内容。

除了全局控制之外,LooseControlVideo 还支持局部细化。例如,用户可以调整跳跃轨迹或添加交互动作,而不会对全局场景上下文造成太大干扰。这种灵活性使得视频创作过程更加直观和高效,尤其适用于需要精细调整的动态场景。

为了验证方法的有效性,研究团队在 nuScenes、HO-3D 和 BEHAVE 三个基准上进行了广泛评估。实验结果表明,LooseControlVideo 显著优于现有的基于二维边界框和光流的方法。具体来说,轨迹误差改善了 1.2 至 3 倍,刚性运动一致性提升了 2 倍,遮挡准确性相比当前最先进的布局条件模型提高了 1.5 至 2 倍。这些结果说明,有向三维基元为复杂多智能体视频创作提供了良好的几何先验。

该论文由 Shariq Farooq Bhat 等作者撰写,提交于 2026 年 6 月 17 日,属于计算机视觉与模式识别(cs.CV)领域。项目页面已公开,供研究社区参考。

展开要点与分析

文章情报

工程师进阶

要点

  • 使用稀疏有向 3D 边界框作为直观的“阻挡”代理,实现高层级布局和轨迹控制。
  • 提出 DNOCS 编码(3D 尺寸、方向和深度排序遮挡),并基于此微调 Wan 2.2 骨干网络。
  • 在 nuScenes、HO-3D 和 BEHAVE 基准上,轨迹误差改善 1.2 至 3 倍,刚性运动一致性提升 2 倍,遮挡准确性提升 1.5 至 2 倍。
  • 支持局部细化(如调整跳跃轨迹或添加交互),且对全局场景上下文干扰最小。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。