ビデオ生成モデルは汎用視覚学習器である
本論文では、大規模テキスト・ツー・ビデオ生成をコンピュータビジョンのプレトレーニングパラダイムとして活用するGenCeptionを提案。深度、表面法線、カメラポーズ推定など多様なタスクでSOTAを達成し、データ効率の良さと合成データから実世界への汎化能力を示す。
自然言語処理分野では、次トークン予測によりタスク特化モデルから強力な汎用基盤モデルへの移行が実現しました。では、コンピュータビジョンにおいて汎用モデルを達成するにはどのような触媒が必要でしょうか？本論文では、大規模テキスト・ツー・ビデオ生成がコンピュータビジョンの強力なプレトレーニングパラダイムとして機能し、時空間事前知識、視覚言語アライメント、スケーラビリティを提供すると主張しています。研究者らはGenCeptionを導入しました。これはプレトレーニング済みビデオ生成拡散バックボーンを利用し、テキスト指示に従って様々な視覚タスクを実行するフィードフォワード知覚モデルです。実験結果によれば、GenCeptionは深度、表面法線、カメラポーズ推定、表情参照セグメンテーション、3Dキーポイント予測など多様なタスクで最先端の性能を達成し、多くの場合、専用モデル（DepthAnything3、SAM3、D4RT、VGGT-Omega、Sapiens、David、Genmo、Lotus-2など）に匹敵またはそれを上回ります。さらに、ビデオ生成プレトレーニングバックボーンは、同等の設定下で他のプレトレーニングパラダイム（V-JEPAやVideo MAEなど）よりも優れています。重要なことに、GenCeptionは初期のデータ・モデルスケーリング特性と卓越したデータ効率を示し、D4RTやVGGT-Omegaなどのリーディングモデルと同等の性能を7〜500分の1のトレーニングデータで達成します。最後に、GenCeptionは興味深い創発的な振る舞いも示します。合成人間ビデオのみでトレーニングされたモデルが、実世界の映像や分布外の物体カテゴリー（動物やロボットなど）に汎化するのです。これらの発見は、ビデオ生成が単なる合成ツールではなく、物理世界のための汎用視覚知能への基盤的な道であることを示唆しています。本研究はECCV 2026に採択され、プロジェクトページはhttps://genception.github.ioです。