近日，一篇题为《GeMoE: Gating Entropy is All You Need for Uncertainty-aware Adaptive Routing in MoE-based Large Vision-Language Models》的论文以预印本形式发布在 arXiv 上（编号 2606.26287，属于计算机视觉与模式识别 cs.CV 分类），提交时间为 2026 年 6 月 24 日。论文由 Chaoxiang Cai 领衔，共有六位作者参与，提交记录显示联系作者为 Xi Li。该工作聚焦于基于混合专家（MoE）架构的大型视觉语言模型（LVLM）中的动态路由问题，提出以门控熵（Gating Entropy）为核心的不确定性感知自适应路由方法 GeMoE。
论文首先回顾了当前大型视觉语言模型的发展背景。随着模型参数规模与训练数据量的持续增长，这类模型在指令遵循与泛化能力上已有显著提升。基于 MoE 架构的视觉语言模型能够在不显著增加推理成本的前提下扩展参数容量，因而成为兼顾性能与效率的重要路线。然而，作者指出，传统 MoE 方法普遍采用 Top-k 的静态路由策略，即对每个输入 token 固定激活相同数量的专家。这种策略无法根据输入内容的差异自适应地选择专家数量，导致资源利用并不理想——简单 token 可能被分配了过多的计算，而复杂 token 又可能得不到足够的专家支持。
针对这一问题，论文提出了一个颇具信息论色彩的视角：将 token 路由视为信息编码任务，并把动态路由表述为编码过程中的最小描述长度（Minimum Description Length，MDL）问题。作者在 MoE 场景下验证了 MDL 与门控熵之间的联系，并据此设计了 GeMoE（Gating Entropy-based Uncertainty-aware Adaptive Routing）。与传统的静态路由或基于启发式规则的动态路由方法不同，GeMoE 显式地对模型复杂度与性能之间的权衡进行建模：它利用门控熵来评估每个 token 的复杂度，并据此自适应地决定该 token 应当激活多少个专家。门控熵越高，意味着路由分布越不确定、token 越复杂，从而需要更多专家参与；反之则可以减少专家激活数量以节省计算。
在实验方面，论文在多种骨干网络与基准测试上对所提方法进行了评估。结果显示，与原始静态路由相比，GeMoE 平均保留了 99.5% 的性能，同时将平均专家激活稀疏度提升了 36.5%。这一结果意味着，GeMoE 几乎不损失模型效果，却显著减少了实际激活的专家数量，从而改善了资源利用效率。
从时间线来看，该论文于 2026 年 6 月 24 日 18:34（UTC）提交为第一版（v1），全文约 2.3 MB，提供 PDF 与实验性 HTML 版本，并附有 TeX 源码与查看许可。论文的 DOI 由 DataCite 发放，尚待正式注册。整体而言，GeMoE 为 MoE 架构下视觉语言模型的自适应路由提供了一种有理论依据、且实验上兼顾性能与稀疏性的解决思路。