近日,一篇题为《The TIME Machine: On The Power of Motion for Efficient Perception》的论文以预印本形式发布在 arXiv 上,编号为 arXiv:2605.23045v1,提交时间为 2026 年 5 月 21 日。论文作者为 Mantas Skackauskas 及另外两位合作者,研究主题属于计算机视觉与模式识别(cs.CV),同时交叉涉及人工智能(cs.AI)与机器学习(cs.LG)领域。文章从一个近年来备受关注的问题出发:视频表示学习虽然取得了巨大进展,但其背后依赖的两大支柱——大规模训练数据与基于语言的对比学习——正在暴露出明显的局限。
作者指出,视频模型近年来的进步主要来自两方面因素:一是训练规模的持续扩大,二是借助语言进行对比训练的视觉模型取得了成功。这些因素确实推动了视频模型能力的边界,但同时也带来了自身的限制。首先,单纯扩大视频模型的规模会带来难以承受的成本;其次,从语言中学习会把模型能够掌握的概念范围限制在字幕所描述的内容之内。正因如此,现有视频模型在时间维度上的理解能力仍然不足,难以真正把握视频中随时间演变的动态信息。
针对这一问题,论文提出了一种全新的思路:把运动(motion)作为视频表示的核心模态。具体而言,研究者从视频中提取以点轨迹(point-tracks)形式呈现的运动信息,然后采用掩码自编码器(masked autoencoder)的方法,随机遮蔽其中一部分轨迹,并训练自编码器去重建缺失的轨迹。通过这种方式,模型能够以自监督的方式学习到视频的表示,而无需依赖人工标注或语言描述。
作者进一步论证,用运动来表示视频恰好能够同时化解视频技术的两个核心瓶颈。第一,运动本身与外观无关(appearance-independent),因此泛化所需样本更少,可以大幅缩减训练数据的规模;第二,运动绕开了依赖语言的训练范式,使模型能够学到更细粒度的概念,而不必受限于字幕所能覆盖的语义范围。
这一方法最终产出的嵌入表示被命名为 TIME,即 Temporally Informed Motion Embedding(时间感知运动嵌入)。值得注意的是,该表示完全是在合成运动数据上训练得到的,没有使用真实视频或语言标注。研究团队在一系列广泛的任务上以零样本(zero-shot)方式对该嵌入进行了测试。结果显示,在不添加任何额外技巧的情况下,其性能与当前最先进的模型相当,而所使用的训练数据量最多可减少四个数量级。
论文将这一成果定位为迈向新范式的垫脚石:未来的视频模型有望同时具备更强的时间感知能力与更好的可扩展性。作者认为,这一方向为视频表示学习提供了一条不同于“堆数据、堆算力、堆语言对齐”的替代路径,也提示研究社区重新审视运动信息在视频理解中的核心地位。该论文的全文、PDF 及实验性 HTML 版本均可通过 arXiv 获取,DOI 为 10.48550/arXiv.2605.23045。