視頻生成模型成為通用視覺學習器
本文提出並驗證了大規模文本到視頻生成可作為計算機視覺的強預訓練範式，所提出的GenCeption模型在深度估計、表面法線、相機位姿估計等多個視覺任務上達到領先性能，展現出數據效率和良好的泛化能力，為通用視覺智能提供了新路徑。
近年來，自然語言處理領域通過下一詞預測範式實現了從任務特定模型到強大通用基礎模型的轉變。這一成功引發了計算機視覺領域的思考：什麼樣的催化劑可以實現類似的通用視覺模型？本文作者提出，大規模文本到視頻生成可以作為計算機視覺的強預訓練範式，因為它能夠提供時空先驗、視覺-語言對齊和可擴展性，這些都是通用視覺智能所需的關鍵要素。基於這一思想，研究者們提出了GenCeption模型，該模型利用預訓練的視頻生成擴散模型作為骨幹網絡，構建了一個前饋感知模型，能夠通過自然語言指令執行多種視覺任務。實驗結果顯示，GenCeption在深度估計、表面法線估計、相機位姿估計、表情指代分割和3D關鍵點預測等一系列任務上均取得了最先進的性能，許多情況下甚至超越了專門設計的模型，如DepthAnything3、SAM3、D4RT、VGGT-Omega、Sapiens、David、Genmo和Lotus-2。此外，視頻生成預訓練骨幹在同等條件下也優於其他預訓練範式，例如V-JEPA和Video MAE。尤為重要的是，GenCeption展現了初步的數據和模型縮放特性，以及卓越的數據效率——它僅使用領先模型（如D4RT和VGGT-Omega）7到500分之一的訓練數據就能達到相當的性能。最後，GenCeption還表現出有趣的湧現行為：僅使用合成人體視頻訓練的模型能夠泛化到真實世界視頻以及分佈外的物體類別，如動物和機器人。這些發現表明，視頻生成不僅僅是合成工具，更是通往物理世界通用視覺智能的基礎路徑。該研究已發表於ECCV 2026，項目頁面可在https://genception.github.io獲取。