视频识别领域长期以来由 Transformer 模型主导，它们将视频分割成令牌，处理成本呈超线性增长。然而，视频数据充满冗余，因此有必要质疑这种高昂计算开销的必要性。为此，研究人员提出了 LookWhen，一种选择器-提取器框架，将视频识别任务分解为学习何时、何地以及计算什么。
LookWhen 的设计包含两个关键组件：一个浅层选择器和一个深层提取器。选择器接收缩小后的视频，快速对所有时空令牌进行评分；提取器则仅处理评分最高的前 K 个令牌，从而近似完整视频表示，而无需真正处理所有令牌。这种方法大幅降低了计算量，因为只有一小部分令牌被送入深层网络。
训练 LookWhen 面临一个关键挑战：如何为选择和提取提供有效的监督信号。针对选择预训练，团队引入了一种基于表示唯一性分数的排序方法，通过简单的最近邻距离来衡量每个令牌的独特性。对于提取预训练，则采用知识蒸馏策略，分别从视频教师模型和图像教师模型中学习；图像教师模型通过归一化帧表示来捕捉视频内部的时序变化。这些策略使得选择器-提取器能够学习到通用且高效的表示，适用于特征提取或任务微调。
研究团队在 Kinetics-400、SSv2、Epic-Kitchens、Diving48、Jester 和 Charades 六个数据集上进行了全面的实验。结果令人印象深刻：LookWhen 在准确率与计算量（FLOPs）之间取得了更好的平衡，在6个任务×2种设置的12种情况下，有9种实现了 Pareto 优势，其余3种也基本持平。在实际吞吐量测试中，LookWhen 的效率更为突出，在同等准确率下比 InternVideo2-B 快6.7倍。这意味着在实际应用中，LookWhen 可以在更短的时间内处理大量视频，同时保持高识别精度。
这一成果为高效视频识别提供了新的方向，尤其适用于资源受限的场景，如移动设备或实时监控系统。未来，LookWhen 的设计思路可以扩展到其他需要高效处理时空信号的任务，为计算机视觉领域带来更广泛的节能与加速效益。