视频生成模型成为通用视觉学习器
本文提出并验证了大规模文本到视频生成可作为计算机视觉的强预训练范式，所提出的GenCeption模型在深度估计、表面法线、相机位姿估计等多个视觉任务上达到领先性能，展现出数据效率和良好的泛化能力，为通用视觉智能提供了新路径。
近年来，自然语言处理领域通过下一词预测范式实现了从任务特定模型到强大通用基础模型的转变。这一成功引发了计算机视觉领域的思考：什么样的催化剂可以实现类似的通用视觉模型？本文作者提出，大规模文本到视频生成可以作为计算机视觉的强预训练范式，因为它能够提供时空先验、视觉-语言对齐和可扩展性，这些都是通用视觉智能所需的关键要素。基于这一思想，研究者们提出了GenCeption模型，该模型利用预训练的视频生成扩散模型作为骨干网络，构建了一个前馈感知模型，能够通过自然语言指令执行多种视觉任务。实验结果显示，GenCeption在深度估计、表面法线估计、相机位姿估计、表情指代分割和3D关键点预测等一系列任务上均取得了最先进的性能，许多情况下甚至超越了专门设计的模型，如DepthAnything3、SAM3、D4RT、VGGT-Omega、Sapiens、David、Genmo和Lotus-2。此外，视频生成预训练骨干在同等条件下也优于其他预训练范式，例如V-JEPA和Video MAE。尤为重要的是，GenCeption展现了初步的数据和模型缩放特性，以及卓越的数据效率——它仅使用领先模型（如D4RT和VGGT-Omega）7到500分之一的训练数据就能达到相当的性能。最后，GenCeption还表现出有趣的涌现行为：仅使用合成人体视频训练的模型能够泛化到真实世界视频以及分布外的物体类别，如动物和机器人。这些发现表明，视频生成不仅仅是合成工具，更是通往物理世界通用视觉智能的基础路径。该研究已发表于ECCV 2026，项目页面可在https://genception.github.io获取。