大規模言語モデル（LLM）の推論コストは、実際の展開における重要なボトルネックであり、モデル圧縮技術が注目されています。従来の圧縮方法は主に、静的パラメータ枝刈り（低ランク近似やチャネル枝刈りなど）と動的トークンレベル計算（早期終了や動的レイヤースキップなど）の2種類に分類されます。しかし、スパース性がある閾値を超えると、単一メカニズムではモデルの性能が急激に低下します。EIT NLPグループの研究者らは、これら2つのメカニズムを組み合わせることで、圧縮負荷を分散して劣化を遅らせることができるかどうかを問いました。
そこで彼らは、最小限の複合スパース性フレームワークを設計しました。まず、低ランク近似とチャネル枝刈りを用いてモデルを静的に圧縮し、コンパクトなバックボーンを取得します。次に、推論時に軽量ルーターを導入し、各トークンの難易度に応じて特定のレイヤーを動的にスキップします。この2段階設計により、パラメータスパース性と計算スパース性を独立に調整でき、圧縮の最適な組み合わせをより柔軟に探索できます。
MMLU、GSM8K、WikiTextなどの複数の言語理解およびモデリングベンチマークでの実験により、同じ総スパース性の下で、複合スパース性はどの単一メカニズムよりも一貫して優れていることが示されました。具体的には、理解タスクにおいて、複合スパース性は性能劣化点を約10〜15%のスパース性分遅らせ、より強力な言語モデリング能力を維持しました。さらに分析を進めると、パラメータ枝刈りとトークンスキップの間には明らかな次元間干渉が存在し、一方の次元に過度に依存すると他方の次元の有効性が制限されることがわかりました。そのため、固定のスパース性予算の下では、ほぼバランスの取れた割り当て（パラメータスパース性と計算スパース性がほぼ同じ）が最適な戦略です。
これらの発見は重要な実用的意義を持ちます。第一に、複合圧縮は、モデルアーキテクチャに大規模な変更を加えることなく、LLMの圧縮効率を向上させる即座に利用可能な方法を提供します。第二に、この研究は、さらなる圧縮を根本的に制限するより広範な次元間スパース性境界を明らかにしており、この境界は将来のスパース化研究の中心的な目標となる可能性があります。研究者らは、コードをGitHub（https://github.com/EIT-NLP/LLM-Pruning）で公開することを約束しています。本論文は、Chao Han、Haozhe Hu、Xiaoyu Shenによって執筆され、2026年6月29日にarXivに提出されました。