動画表現学習は近年目覚ましい進歩を遂げている。これは訓練規模の拡大や、言語との対照学習で訓練された視覚モデルの成功など、多くの要因によって推進されてきた。しかし、これらの要因は動画モデルの能力の限界を押し広げる一方で、独自の制限ももたらしている。第一に、動画モデルの拡張は法外なコストに達する可能性がある。第二に、言語からの学習は、学習可能な概念の範囲をキャプションに含まれるものに限定してしまう。その結果、動画モデは依然として時間的理解を苦手としている。
本論文では、運動を動画表現の中心モダリティとして使用する新しいアプローチを提案する。具体的には、動画内の運動を点軌跡の形で与え、マスク付きオートエンコーダを用いて一部の軌跡をマスクし、欠損した軌跡を再構成するようにオートエンコーダを訓練する。これにより、自己教師あり方式で表現を学習できる。
我々は、運動を用いて動画を表現することが、動画技術の2つの核心的な制限を実際に解決することを示す。第一に、運動は本質的に外観に依存しないため、一般化に必要な例が少なくて済み、訓練データの規模を大幅に削減できる。第二に、運動は言語依存の訓練パラダイムを回避し、より細かい概念を学習できる。
その結果得られる埋め込みはTIME（Temporally Informed Motion Embedding）と呼ばれ、合成運動データのみで訓練された表現である。我々はこの埋め込みを幅広いタスクでゼロショット方式でテストした。その結果、特別な工夫なしに、最大4桁少ない訓練データを使用しながら、最先端モデルと同等の性能を観察した。これは、時間認識能力と拡張性の両方を備えた動画モデルの新しいパラダイムへの足がかりである。論文はarXiv:2605.23045として2026年5月21日に提出され、Mantas Skackauskasら3名によるもので、コンピュータビジョンとパターン認識（cs.CV）に属し、人工知能（cs.AI）と機械学習（cs.LG）にも関連する。