Mixture-of-Experts（MoE）言語モデルは、トークンごとにパラメータのごく一部のみを活性化することで、モデル容量を効率的に拡大する。しかし長文脈推論では、KV キャッシュが系列長に対して線形に増大するため、メモリが依然として主要なボトルネックとなる。既存の KV キャッシュ圧縮手法は密な Transformer 向けにこのコストを削減するものの、MoE に固有の問題を見落としている。すなわち、KV の追い出し（eviction）が回答生成時に選択されるエキスパートを変化させ、生成品質を劣化させ得るという点である。Minsang Kim ら著者の論文は、この問題に対処するため、疎な MoE 言語モデル向けのルーティング認識型 KV キャッシュ圧縮手法「MoEZip」を提案する。本論文は Neural Information Processing Systems 会議（NeurIPS）2026 に採録された。
論文の中心的な着想は、文脈断片の重要度を評価する際に、注意重みだけでなく、その断片がエキスパートのルーティング決定に与える影響も考慮すべきだという点にある。エキスパートルーティングの摂動に対する感度を見積もるため、著者らはルーティング分布の Fisher 情報行列に基づく新たな指標を提案する。ルーティング分布は各トークンが各エキスパートを選択する確率を表し、Fisher 情報行列はその分布が摂動を受けた際の変化の大きさを測る。感度の高い文脈断片が追い出されるとルーティングがずれやすくなるため、より高い保持優先度を与えるべきである。MoEZip はこの指標を注意重みと組み合わせ、ルーティング認識型の文脈スコアリングを構成する。
さらに著者らは、密アーキテクチャ向けの追い出し手法と疎な MoE アーキテクチャ向けの追い出し手法を組み合わせた補完的なスコアリング体系を構築し、両構造において従来の注意重要度とルーティングの安定性を両立させる。
実験では、MoEZip が各種ベンチマークにおいて、厳しいキャッシュ圧縮条件下でも堅牢な性能を達成することが示された。KV 保持率 10% において、MoEZip は LongBench と RULER で最先端（SoTA）ベースラインを平均でそれぞれ +24 ポイント、+20 ポイント上回り、スコアにしてそれぞれ 2.3 倍、4.9 倍の向上に相当する。
論文情報としては、本プレプリントは 2026 年 10 月 21 日に arXiv へ投稿され（v1 の投稿時刻は同日 13:06:30 UTC、全文約 5,660 KB）、番号は arXiv:2610.30206、DOI は https://doi.org/10.48550/arXiv.2610.30206（DataCite による DOI 登録は保留中）、主分類は機械学習（cs.LG）、副分類は人工知能（cs.AI）である。NeurIPS 2026 採録論文として位置づけられ、PDF に加えて実験的な HTML 版および TeX ソースも提供されている。なお、KV キャッシュが系列長に応じて線形に増大することは長文脈推論に共通するメモリコストであり、ルーティング機構を持つ MoE では追い出し判断の影響が注意機構の範囲を超える点が、MoEZip が埋めようとする空白である。