混合エキスパート（MoE）モデルは、一部のエキスパートのみを活性化することで計算を効率的に拡張できるが、その大きなメモリフットプリントと推論オーバーヘッドのため、展開コストは依然として高い。従来の圧縮手法は主にエキスパートレベルで動作し、エキスパート全体を削除するか、粗粒度の重要度スコアでエキスパートをランク付けしていた。しかし、このようなエキスパート単位の決定はしばしば粗すぎて細粒度の冗長性を捉えられず、プルーニング予算の配分ミスと限定的な圧縮につながっていた。
この問題に対処するため、Yifu Dingら7名の研究者は重要な観察を行った。それは、MoEエキスパート内の情報は少数のチャネルに高度に集中しており、重要と見なされるエキスパートでさえも相当な冗長性が残っているというものである。この発見は、圧縮の粒度をエキスパートレベルからチャネルレベルへと細分化し、冗長なパラメータをより正確に特定・除去できることを意味する。
以上の観察に基づき、研究チームはMoEモデルに特化した構造的プルーニングフレームワークを提案した。この手法の核心的な革新は、プルーニング比率の割り当て問題をチャネルスコアのカバレッジ最大化問題として再定式化し、帰属ベースの近似手法を用いて効率的に解く点にある。具体的には、各エキスパートに独立してプルーニング比率を割り当てるのではなく、グローバルなチャネル重要度のカバレッジという観点から、プルーニング後のモデルが重要な情報チャネルを最大限に保持できるようにする。
実験面では、この手法はDeepSeekおよびQwenシリーズのMoEモデルで検証された。結果として、4ビット量子化と組み合わせた場合、50%または25%の構造的プルーニング比率でもモデル精度が維持されることが示された。特に注目すべきは、Qwen3-30B-A3Bモデルにおいて、このアプローチがメモリフットプリントを5.27倍削減し、多様なベンチマークテストで現在の最先端ベースラインを一貫して上回った点である。
本研究は、エキスパートを単純に削除するのではなく、より細粒度の構造的プルーニングを通じてモデル内部の冗長性を掘り下げるという、MoEモデルの効率的な展開への新たな道を開くものである。論文は全9ページ、5枚の図を含み、ICML 2026に投稿済みである。全文はarXivで公開されている。