動画認識の分野では長らくTransformerモデルが主流であり、動画をトークンに分割して処理するため、計算コストが超線形的に増大します。しかし、動画データは冗長性に満ちているため、この高い計算コストの必要性に疑問が生じます。そこで、研究者らはLookWhenを提案しました。これは、選択子-抽出子フレームワークにより、動画認識を「いつ、どこで、何を計算するか」を学習するタスクに分解するものです。
LookWhenは2つの主要コンポーネントで構成されます。浅い選択子は縮小された動画を受け取り、すべての時空間トークンを高速にスコアリングします。一方、深い抽出子はスコア上位のトップKトークンのみを処理し、全トークンを処理することなく動画全体の表現を近似します。このアプローチにより、計算量が大幅に削減されるため、リソース制約のある環境でも効率的な推論が可能になります。
LookWhenの訓練における重要な課題は、選択と抽出に効果的な教師信号を定義することです。選択の事前学習では、表現上のユニーク性スコアを導入し、単純な最近傍距離を用いてトークンをランク付けします。抽出の事前学習では、動画教師モデルと画像教師モデルの両方から蒸留を行います。画像教師モデルでは、フレーム表現を正規化することで、動画内の変化を学習します。これらの戦略により、選択子-抽出子は特徴抽出やタスクへの微調整に適した汎用的で効率的な表現を学習します。
研究チームは、Kinetics-400、SSv2、Epic-Kitchens、Diving48、Jester、Charadesの6つのデータセットで実験を行いました。結果、LookWhenは精度と計算量（FLOPs）のトレードオフにおいて優れており、6タスク×2設定の12ケース中9ケースでパレート優位を示し、残り3ケースでも同等の結果でした。実際のスループット測定では、LookWhenはInternVideo2-Bと同等の精度で6.7倍高速であり、その効率性が際立っています。これは、実用的な動画認識システムにおいて、大幅な高速化とコスト削減を意味します。
この成果は、特にリソース制約のあるシナリオにおいて、効率的な動画認識の新たな方向性を示すものです。将来、LookWhenの設計は、時空間信号を効率的に処理する他のタスクにも応用され、コンピュータビジョン分野全体の省エネルギー化と高速化に貢献することが期待されます。