動画マルチモーダル大規模言語モデル（Video MLLM）は、空間的な忠実度と時間的なカバレッジの間に根強い緊張関係を抱えている。細かな視覚的ディテールを保つには多数の空間トークンが必要となり、一方で短時間だけ現れる事象を捉えるには密な時間サンプリングが求められる。両者が重なると視覚トークン数は急増し、推論効率やメモリに大きな負担となる。arXiv論文「Fre-Res: Frequency-Residual Video Token Compression for Efficient Video MLLMs」は、まさにこの問題に取り組む提案である。Yigui Feng氏ら13名の著者によるこの論文は2026年5月10日に投稿され、コンピュータビジョンとパターン認識（cs.CV）に分類されつつ人工知能（cs.AI）にもまたがる内容で、全24ページ・図5点で構成されている。
Fre-Resの中心的な考え方は、「空間的忠実度」と「時間的カバレッジ」という二種類の証拠を分離して扱うことにある。予算適応型の二トラック動画トークン圧縮フレームワークとして、第一のトラックでは数は少ないが高忠実度の空間アンカーを保持し、物体の外観やレイアウトといった細粒度情報を担わせる。第二のトラックでは、密な時間的変化をコンパクトな残差周波数トークンで表現する。これにより限られたトークン予算を、空間と時間の単純な二者択一ではなく、相補的な二種類の証拠に配分できる。
実装上、研究チームは視覚潜在空間においてフレーム間の残差軌跡に時間方向の一次元離散コサイン変換（1D-DCT）を適用する。その結果、これらの残差軌跡が周波数領域で強い低周波集中を示すことを観察した。つまり隣接フレーム間の変化情報の大部分は少数の低周波成分に集中しており、この性質が圧縮の直接的な根拠となる。少数の低周波係数を残すだけで、フレーム間の動きを小さなコストで符号化できるのである。
さらに、周波数領域の表現はモデル本来の視覚埋め込みと同じ空間にはないため、Fre-Resは「Spatial-Guided Absorber」を導入する。このモジュールは時間的残差情報を空間的に対応するアンカートークンへ注入し、周波数領域の動きとネイティブな視覚埋め込みを意味的・位置的に整合させる。これにより二種類のトークンが同一の表現空間で協調して機能する。
評価では、細粒度の短尺動画および長尺動画の推論ベンチマークを用いて検証が行われた。その結果、Fre-Resは精度と効率の間で有利なトレードオフを実現し、全トークンを用いる完全なモデルと同等かそれに近い性能を保ちながら、視覚トークン長を大幅に削減できることが示された。アブレーション実験は二つのトラックそれぞれの必要性も明らかにしている。時間的周波数残差は因果的な状態遷移の手がかりを保持し、空間アンカーは細粒度の物体認識やレイアウト推論に不可欠であり、両者は互いに代替できない。二トラック構造の価値はここにある。
より広い観点では、この研究は動画理解のための効率的な表現手法の方向性を示している。すべての視覚トークンを均一に圧縮するのではなく、証拠の種類に応じて扱いを分け、忠実度が必要な空間的ディテールに予算を割き、時間的変化は低次元の周波数表現に委ねるという考え方である。長尺動画を扱うマルチモーダル応用にとって、こうした圧縮手法は推論能力を維持しつつ計算コストを大きく下げる可能性を持つ。論文のDOIは10.48550/arXiv.2605.16366で、PDFや実験的なHTML版、TeXソースなど複数の形式で公開されている。