在文本到视频生成领域,实现精确的三维空间编排一直是一项重大挑战,尤其是在涉及多个对象的场景中,语义布局与时间动态往往相互纠缠。现有的深度条件模型虽然能获得良好的结构保真度,但需要密集的、帧级精确的引导,对于涉及可变形对象的动态事件而言,制作这种引导非常费力。为了解决这一问题,研究人员提出了 LooseControlVideo,一个通过使用稀疏的有向三维边界框作为“阻挡”代理来实现直观且富有表现力控制的框架。
LooseControlVideo 的核心思想是让用户能够编写高层级的布局和轨迹,同时利用视频生成模型来生成逼真的遮挡、动态和交互。具体而言,该方法在带有 DNOCS 注释的视频数据集上微调了 Wan 2.2 骨干网络。DNOCS 是一种新颖的编码方式,用于表示三维尺寸、方向以及深度排序的遮挡关系。通过这种方式,模型能够理解由稀疏边界框所定义的场景结构,并生成符合物理规律和视觉合理性的视频内容。
除了全局控制之外,LooseControlVideo 还支持局部细化。例如,用户可以调整跳跃轨迹或添加交互动作,而不会对全局场景上下文造成太大干扰。这种灵活性使得视频创作过程更加直观和高效,尤其适用于需要精细调整的动态场景。
为了验证方法的有效性,研究团队在 nuScenes、HO-3D 和 BEHAVE 三个基准上进行了广泛评估。实验结果表明,LooseControlVideo 显著优于现有的基于二维边界框和光流的方法。具体来说,轨迹误差改善了 1.2 至 3 倍,刚性运动一致性提升了 2 倍,遮挡准确性相比当前最先进的布局条件模型提高了 1.5 至 2 倍。这些结果说明,有向三维基元为复杂多智能体视频创作提供了良好的几何先验。
该论文由 Shariq Farooq Bhat 等作者撰写,提交于 2026 年 6 月 17 日,属于计算机视觉与模式识别(cs.CV)领域。项目页面已公开,供研究社区参考。