混合專家（MoE）語言模型通過為每個 token 僅激活一小部分參數，實現了容量的高效擴展。然而在長上下文推理中，內存仍然是主要瓶頸，因為 KV 緩存會隨序列長度線性增長。現有的 KV 緩存壓縮方法主要為稠密 Transformer 設計，降低這類模型的開銷，但它們忽略了一個 MoE 特有的問題：KV 逐出（eviction）可能在答案生成階段改變被選中的專家，從而損害生成質量。針對這一問題，Minsang Kim 等作者提出 MoEZip——一種面向稀疏 MoE 語言模型的路由感知 KV 緩存壓縮方法。該論文已被神經信息處理系統大會（NeurIPS）2026 接收。
論文的核心思路是：在評估上下文片段的重要性時，不僅要考慮注意力權重，還要考慮該片段對專家路由決策的影響。為估計專家路由對擾動的敏感程度，作者提出了一種基於路由分佈 Fisher 信息矩陣的新度量。具體而言，路由分佈刻畫了每個 token 在各專家上的選擇概率，而 Fisher 信息矩陣能夠衡量該分佈在受到擾動時的變化幅度；敏感度高的上下文片段一旦被逐出，就更容易導致路由發生偏移，因此應被賦予更高的保留優先級。MoEZip 將這一度量與注意力權重結合，形成路由感知的上下文評分機制。
此外，作者還構建了一套互補的評分體系，把面向稠密架構的逐出方法與面向稀疏 MoE 架構的逐出方法組合起來使用，從而在兩類結構上都能兼顧傳統注意力重要性與路由穩定性。
實驗結果表明，MoEZip 在多種基準上、在激進的緩存壓縮條件下仍能保持穩健性能。在 KV 保留比例為 10% 時，MoEZip 在 LongBench 和 RULER 上相較當前最優（SoTA）基線平均分別提升 +24 分和 +20 分，相當於得分分別提高 2.3 倍和 4.9 倍。
論文信息方面，該預印本於 2026 年 10 月 21 日提交至 arXiv（v1 版本提交時間為當日 13:06:30 UTC，全文約 5,660 KB），編號 arXiv:2610.30206，DOI 為 https://doi.org/10.48550/arXiv.2610.30206（經 DataCite 頒發的 DOI 尚待註冊），主分類為機器學習（cs.LG），同時交叉歸類於人工智能（cs.AI）。論文標註為 NeurIPS 2026 接收論文，除 PDF 外還提供實驗性 HTML 版本與 TeX 源碼。值得一提的是，KV 緩存隨序列長度線性增長是長上下文推理中普遍存在的內存開銷來源，而 MoE 模型由於路由機制的存在，使逐出決策的影響超出了單純的注意力層面，這正是 MoEZip 試圖填補的空白。