视频多模态大模型长期面临一对难以调和的矛盾：要保留精细的视觉细节，就需要大量空间Token；而要捕捉转瞬即逝的事件，又需要密集的时间采样。两者叠加，视觉Token数量会迅速膨胀，给推理效率与显存带来沉重压力。来自arXiv的论文《Fre-Res: Frequency-Residual Video Token Compression for Efficient Video MLLMs》正是针对这一张力提出解决方案。该论文由Yigui Feng等共13位作者完成，于2026年5月10日提交，属于计算机视觉与模式识别（cs.CV）方向，并交叉涉及人工智能（cs.AI），全文共24页、5幅图。
Fre-Res的核心思路是把“空间保真”和“时间覆盖”这两类证据分开处理，构建一个预算自适应的双轨视频Token压缩框架。第一轨保留数量稀疏但保真度高的空间锚点，用来承载物体外观、布局等细粒度信息；第二轨则用紧凑的残差频率Token来刻画密集的时序演化过程。这样一来，有限的Token预算可以按需分配给两种互补的证据形式，而不是在空间与时间之间做单一的取舍。
在具体实现上，研究团队在视觉潜空间中对帧间残差轨迹施加时序一维离散余弦变换（1D-DCT）。他们观察到，这些残差轨迹在频域上呈现出强烈的低频集中现象——相邻帧之间的大部分变化信息都集中在少数低频分量中。这一发现为压缩提供了直接依据：只需保留少量低频系数，就能以很小的代价编码帧间的动态变化。
由于频率域表示与模型原生的视觉嵌入并不在同一空间，Fre-Res进一步引入了“空间引导吸收器”（Spatial-Guided Absorber）。该模块负责把时序残差信息注入到空间位置相对应的锚点Token中，使频域动态与原生视觉嵌入在语义和位置上对齐，从而让两类Token在同一表示空间内协同工作。
实验方面，论文在细粒度短视频与长视频推理基准上进行了评估。结果显示，Fre-Res在精度与效率之间取得了有利的权衡，性能可匹配或接近使用全部Token的完整模型，同时视觉Token长度被大幅压缩。消融实验进一步揭示了两条轨道各自的必要性：时序频率残差能够保留因果性的状态转换线索，而空间锚点对于细粒度物体识别与布局推理仍然不可或缺。这两类信息并不能相互替代，双轨结构正是其价值所在。
从更广的意义上看，这项工作提示了一种面向视频理解的高效表示思路：与其均匀地压缩所有视觉Token，不如按照证据类型区分处理，把宝贵的预算留给真正需要保真的空间细节，而把时序变化交给低维的频率表示。对于需要处理长视频的多模态应用而言，这类压缩方法有望在保持推理能力的同时显著降低计算成本。该论文的DOI为10.48550/arXiv.2605.16366，目前提供PDF、实验性HTML以及TeX源码等多种访问形式。