影片生成模型成為通用視覺學習器

近年來，自然語言處理領域透過下一詞預測正規化實現了從任務特定模型到強大通用基礎模型的轉變。這一成功引發了計算機視覺領域的思考：什麼樣的催化劑可以實現類似的通用視覺模型？本文作者提出，大規模文本到影片生成可以作為計算機視覺的強預訓練正規化，因為它能夠提供時空先驗、視覺-語言對齊和可擴充套件性，這些都是通用視覺智慧所需的關鍵要素。基於這一思想，研究者們提出了GenCeption模型，該模型利用預訓練的影片生成擴散模型作為骨幹網路，構建了一個前饋感知模型，能夠透過自然語言指令執行多種視覺任務。實驗結果顯示，GenCeption在深度估計、表面法線估計、相機位姿估計、表情指代分割和3D關鍵點預測等一系列任務上均取得了最先進的效能，許多情況下甚至超越了專門設計的模型，如DepthAnything3、SAM3、D4RT、VGGT-Omega、Sapiens、David、Genmo和Lotus-2。此外，影片生成預訓練骨幹在同等條件下也優於其他預訓練正規化，例如V-JEPA和Video MAE。尤為重要的是，GenCeption展現了初步的資料和模型縮放特性，以及卓越的資料效率——它僅使用領先模型（如D4RT和VGGT-Omega）7到500分之一的訓練資料就能達到相當的效能。最後，GenCeption還表現出有趣的湧現行為：僅使用合成人體影片訓練的模型能夠泛化到真實世界影片以及分佈外的物體類別，如動物和機器人。這些發現表明，影片生成不僅僅是合成工具，更是通往物理世界通用視覺智慧的基礎路徑。該研究已發表於ECCV 2026，專案頁面可在https://genception.github.io獲取。