視頻識別領域長期以來由 Transformer 模型主導，它們將視頻分割成令牌，處理成本呈超線性增長。然而，視頻數據充滿冗餘，因此有必要質疑這種高昂計算開銷的必要性。為此，研究人員提出了 LookWhen，一種選擇器-提取器框架，將視頻識別任務分解為學習何時、何地以及計算什麼。
LookWhen 的設計包含兩個關鍵組件：一個淺層選擇器和一個深層提取器。選擇器接收縮小後的視頻，快速對所有時空令牌進行評分；提取器則僅處理評分最高的前 K 個令牌，從而近似完整視頻表示，而無需真正處理所有令牌。這種方法大幅降低了計算量，因為只有一小部分令牌被送入深層網絡。
訓練 LookWhen 面臨一個關鍵挑戰：如何為選擇和提取提供有效的監督信號。針對選擇預訓練，團隊引入了一種基於表示唯一性分數的排序方法，通過簡單的最近鄰距離來衡量每個令牌的獨特性。對於提取預訓練，則採用知識蒸餾策略，分別從視頻教師模型和圖像教師模型中學習；圖像教師模型通過歸一化幀表示來捕捉視頻內部的時序變化。這些策略使得選擇器-提取器能夠學習到通用且高效的表示，適用於特徵提取或任務微調。
研究團隊在 Kinetics-400、SSv2、Epic-Kitchens、Diving48、Jester 和 Charades 六個數據集上進行了全面的實驗。結果令人印象深刻：LookWhen 在準確率與計算量（FLOPs）之間取得了更好的平衡，在6個任務×2種設置的12種情況下，有9種實現了 Pareto 優勢，其餘3種也基本持平。在實際吞吐量測試中，LookWhen 的效率更為突出，在同等準確率下比 InternVideo2-B 快6.7倍。這意味着在實際應用中，LookWhen 可以在更短的時間內處理大量視頻，同時保持高識別精度。
這一成果為高效視頻識別提供了新的方向，尤其適用於資源受限的場景，如移動設備或實時監控系統。未來，LookWhen 的設計思路可以擴展到其他需要高效處理時空信號的任務，為計算機視覺領域帶來更廣泛的節能與加速效益。