混合专家（MoE）语言模型通过为每个 token 仅激活一小部分参数，实现了容量的高效扩展。然而在长上下文推理中，内存仍然是主要瓶颈，因为 KV 缓存会随序列长度线性增长。现有的 KV 缓存压缩方法主要为稠密 Transformer 设计，降低这类模型的开销，但它们忽略了一个 MoE 特有的问题：KV 逐出（eviction）可能在答案生成阶段改变被选中的专家，从而损害生成质量。针对这一问题，Minsang Kim 等作者提出 MoEZip——一种面向稀疏 MoE 语言模型的路由感知 KV 缓存压缩方法。该论文已被神经信息处理系统大会（NeurIPS）2026 接收。
论文的核心思路是：在评估上下文片段的重要性时，不仅要考虑注意力权重，还要考虑该片段对专家路由决策的影响。为估计专家路由对扰动的敏感程度，作者提出了一种基于路由分布 Fisher 信息矩阵的新度量。具体而言，路由分布刻画了每个 token 在各专家上的选择概率，而 Fisher 信息矩阵能够衡量该分布在受到扰动时的变化幅度；敏感度高的上下文片段一旦被逐出，就更容易导致路由发生偏移，因此应被赋予更高的保留优先级。MoEZip 将这一度量与注意力权重结合，形成路由感知的上下文评分机制。
此外，作者还构建了一套互补的评分体系，把面向稠密架构的逐出方法与面向稀疏 MoE 架构的逐出方法组合起来使用，从而在两类结构上都能兼顾传统注意力重要性与路由稳定性。
实验结果表明，MoEZip 在多种基准上、在激进的缓存压缩条件下仍能保持稳健性能。在 KV 保留比例为 10% 时，MoEZip 在 LongBench 和 RULER 上相较当前最优（SoTA）基线平均分别提升 +24 分和 +20 分，相当于得分分别提高 2.3 倍和 4.9 倍。
论文信息方面，该预印本于 2026 年 10 月 21 日提交至 arXiv（v1 版本提交时间为当日 13:06:30 UTC，全文约 5,660 KB），编号 arXiv:2610.30206，DOI 为 https://doi.org/10.48550/arXiv.2610.30206（经 DataCite 颁发的 DOI 尚待注册），主分类为机器学习（cs.LG），同时交叉归类于人工智能（cs.AI）。论文标注为 NeurIPS 2026 接收论文，除 PDF 外还提供实验性 HTML 版本与 TeX 源码。值得一提的是，KV 缓存随序列长度线性增长是长上下文推理中普遍存在的内存开销来源，而 MoE 模型由于路由机制的存在，使逐出决策的影响超出了单纯的注意力层面，这正是 MoEZip 试图填补的空白。