多模态基础模型在推理阶段往往要处理大量视觉 token，而如何高效地压缩这些 token，长期以来依赖人工设计。2026 年 6 月 3 日提交到 arXiv 的论文《Differentiable Efficient Operator Search》（可微高效算子搜索，编号 arXiv:2606.05232v1，cs.LG，交叉 cs.AI）由 Xiaohuan Pei 等共 7 位作者完成，提出用可微搜索取代手工设计 token 缩减算子的思路。
论文首先指出了一个被忽视的事实：剪枝（pruning）、合并（merging）、池化（pooling）和自适应重加权（adaptive reweighting）等常见 token 缩减算子表面上彼此不同，实际上都可以被解释为同一个共享算子空间中的不同区域。基于这一统一视角，作者提出了 Efficient Operator Search 框架，把“在哪里缩减 token”“保留多少 token”“缩减后的 token 信息如何处理”这三个原本分开决策的问题放进同一个可微框架中联合搜索。
在搜索空间的设计上，该框架对三个维度进行参数化：层的激活与否（layer activation）、保留预算（retention budget）以及算子行为（operator behavior）。搜索策略则在单侧的预算与成本约束下优化任务性能，也就是说，约束只在一个方向上施加，从而在满足效率要求的同时尽量提升准确率。作者强调，这一形式化方式能够把具有代表性的手工设计基线作为特例重新纳入，同时还能发现超越孤立人工设计的混合算子。
实验部分在多模态基准上进行，结果显示搜索得到的算子在准确率与效率之间取得了有竞争力的权衡，在激进压缩视觉 token 的场景下尤为明显。论文据此提出，高效多模态推理的问题可以从“人工设计算子”重新表述为“可微算子搜索”。
需要说明的是，目前公开信息为 arXiv 摘要页内容，论文全文以 PDF、实验性 HTML 与 TeX 源码形式提供，提交时间为 2026 年 6 月 3 日 00:58:21 UTC，文件大小约 26,008 KB，DOI 为 10.48550/arXiv.2606.05232，尚待 DataCite 注册。摘要未披露具体的基准名称、模型规模与量化指标，相关细节需查阅全文。