近年來，隨著模型引數和訓練資料的增加，大型視覺語言模型（LVLMs）的指令跟隨和泛化能力顯著提升。基於混合專家（MoE）架構，LVLMs在保持推理成本的同時擴充套件了引數容量。然而，傳統的MoE方法採用固定的Top-k路由策略，無法根據輸入變化自適應選擇專家數量，導致資源利用率不佳。
針對這一問題，來自浙江大學等機構的研究人員提出了一種名為GeMoE（Gating Entropy-based Uncertainty-aware Adaptive Routing）的新型路由方法，將令牌路由視為資訊編碼任務，將動態路由建模為最小描述長度（MDL）問題。透過驗證MoE場景中MDL與門控熵之間的聯絡，GeMoE利用門控熵評估令牌的複雜度，自適應地決定每個令牌應啟用的專家數量。
與傳統的靜態或基於啟發式的動態路由方法不同，GeMoE顯式地建模了模型複雜度與效能之間的權衡。該方法不需要額外的輔助網路或訓練階段，可直接應用於現有的MoE架構。在廣泛的骨幹網路和基準測試上，GeMoE在保持平均99.5%原始靜態路由效能的同時，將平均專家啟用稀疏性提升了36.5%，顯著提高了計算效率。
該研究為MoE模型的動態路由提供了新的視角，透過資訊理論原理實現了高效且自適應的專家選擇。未來，團隊計劃進一步探索門控熵在其他架構中的應用，以及將其擴充套件到更復雜的多模態場景。相關論文已發表於arXiv（ID: 2606.26287）。