大規模視覚言語モデル（LVLM）の指示追従性や汎化能力は、モデルパラメータと学習データの増加に伴って著しく向上してきた。Mixture-of-Experts（MoE）アーキテクチャは、条件付き計算によって推論コストを抑えつつパラメータ容量を拡大できるため、大規模LVLMの構築において主流の選択肢となっている。しかし、従来のMoEではTop-kの静的ルーティング戦略が一般的であり、入力内容にかかわらず各トークンが固定数の専門家を活性化する。この戦略は入力間の差異を考慮せず、トークンの実際の複雑さに応じて専門家数を動的に調整できないため、計算リソースの配分が最適化されないという課題がある。
この問題に対して、論文の著者らは新たな視点を提示する。すなわち、トークンのルーティングを情報符号化タスクとみなし、動的ルーティング問題を最小記述長（MDL）問題として定式化するのである。MDL原理の中心的な考え方は、データを符号化する際にモデルの複雑さとデータへの適合度のバランスを取る必要があるというものである。MoEの文脈において、著者らはMDLとゲーティングエントロピーの間の関連性を検証した。ゲーティングエントロピーはルーティング分布の不確実性を反映し、エントロピーが高いほどトークンの符号化により多くの専門家が必要であり、低いほど少数の専門家で十分であることを示す。
この知見に基づき、著者らはゲーティングエントロピーに基づく不確実性対応の適応的ルーティング手法（GeMoE）を提案する。従来の静的ルーティングやヒューリスティックに基づく動的ルーティングとは異なり、GeMoEはモデルの複雑さと性能の間のトレードオフを明示的にモデル化する。各トークンについてゲーティングエントロピーを計算し、それに応じてそのトークンが活性化すべき専門家数を適応的に決定する。エントロピーが高いトークンにはより多くの専門家を割り当て、低いトークンでは専門家の活性化を減らすことで、モデルの性能を維持しながら計算効率を高める。
実験では、著者らは多様なバックボーンとベンチマークでGeMoEを評価した。その結果、元の静的ルーティングと比較して平均で性能の99.5%を維持しつつ、平均専門家活性化スパース性を36.5%向上させることに成功した。これは、精度をほとんど損なうことなく、モデルがよりスパースに専門家を活性化し、推論時の計算オーバーヘッドを削減できることを意味する。本研究は、MoEルーティング戦略の設計に情報理論の視点から新たなアプローチを提供し、大規模視覚言語モデルにおける適応的ルーティングの実用的な可能性を示している。論文は2026年6月24日に投稿され、第一著者はChaoxiang Caiで、計6名の著者が参加している。