随着视觉-语言模型（VLM）通过向语言主干网络输入越来越长的视觉令牌序列来提升感知能力，推理成本也随之上升，这引发了一个基本的扩展性问题：在多模态模型不断增长的情况下，实际需要多少视觉令牌？在固定的视觉令牌预算下，又该如何分配这些令牌？现有的免训练剪枝方法通常采用一次性代理指标来回答这个问题，例如解码器注意力、视觉相似性或条件多样性。然而，论文作者认为，视觉令牌剪枝更适合被看作是一种任务条件化的证据搜索，尤其是在激进压缩和跨模型尺度的场景下。
为了解决这一问题，研究者提出了F^3A，一种免训练的视觉令牌路由器，它在语言模型消费图像令牌之前就进行操作。F^3A首先构建轻量级的问题条件化线索，然后通过冻结的稀疏感知头将这些线索与视觉网格令牌进行匹配，最后通过粗粒度证据定位、局部细化、覆盖保持竞争以及欠覆盖区域的恢复，来分配固定的视觉令牌预算。整个方法不需要模型训练，不需要额外的LLM前向传播，并且保留了原始的多模态提示和解码流程。
该论文提交于2026年5月9日，作者为YiJie Huang等10人，属于计算机视觉与模式识别（cs.CV）以及人工智能（cs.AI）领域。论文的摘要指出，F^3A的核心创新在于将剪枝过程重新定义为一种基于问题的证据搜索，从而在压缩率和模型规模变化时都能保持鲁棒性。与依赖单次代理的方法不同，F^3A通过多阶段的令牌分配策略，在固定预算下更有效地保留对回答问题关键的信息。
具体来说，F^3A的工作流程包括四个步骤：首先，利用问题构建轻量级条件化线索；其次，通过稀疏感知头将这些线索与视觉网格令牌匹配，实现粗粒度的证据定位；然后，在局部区域进行细化，以捕捉更精细的细节；接着，通过覆盖保持竞争确保所选令牌在空间上分布均匀，避免过度集中于局部；最后，对覆盖不足的区域进行恢复，以保持全局上下文。这种设计使得F^3A能够在不同的压缩率下自适应地选择最重要的视觉令牌。
由于F^3A完全免训练且不增加额外的LLM前向传播，它可以无缝集成到现有的多模态模型中，而无需修改模型架构或重新训练。这为在实际部署中降低推理成本提供了一种实用的解决方案，同时保持了模型的性能。论文还强调了该方法在跨模型尺度上的可扩展性，意味着它可能适用于从较小到较大的各种VLM。
总的来说，F^3A通过将视觉令牌剪枝视为任务条件化的证据搜索，提出了一种新颖的免训练路由器，能够在固定视觉令牌预算下高效分配令牌，为多模态语言模型的推理效率提升提供了新的思路。该研究发表于arXiv，编号为2605.16359，提供了PDF和HTML版本供进一步阅读。