近日，一篇题为《MODE: Modality-Decomposed Expert-Level Mixed-Precision Quantization for MoE Multimodal LLMs》的论文以预印本形式发布在 arXiv 上，编号为 arXiv:2606.17118，提交时间为 2026 年 6 月 15 日。该论文由 Yuanteng Chen 领衔，共有 12 位作者参与，全文共 18 页、包含 8 幅图，归属于机器学习（cs.LG）分类，同时也涉及人工智能（cs.AI）方向。
论文聚焦于混合专家（Mixture-of-Experts，MoE）架构的多模态大语言模型（MoE-MLLMs）。这类模型虽然性能表现突出，但其 GPU 显存开销极其高昂，使得模型压缩成为必不可少的环节。在训练后量化（PTQ）方法中，专家级混合精度量化已被证明对 MoE 大语言模型有效，但在 MoE 多模态模型上却会出现明显的性能退化。
作者指出，这种退化源于专家重要性估计中两个长期被忽视的偏差。其一是跨模态层面的偏差：视觉 token 在数量上占据主导地位，导致专家的选择频率被视觉 token 主导，从而掩盖了对文本模态至关重要的专家。其二是视觉模态内部的偏差：视觉 token 中存在大量冗余，进一步扭曲了频率统计，使得对信息量丰富的视觉内容真正关键的专家难以被识别出来。
为弥补这些缺口，研究团队提出了 MODE 框架，即一种面向 MoE 多模态大模型的模态分解式专家级混合精度量化方法。MODE 按模态对专家选择频率进行分解，并过滤冗余视觉 token 以获得去噪后的视觉频率；同时，它还针对每个模态评估量化敏感度，作为频率估计的补充信号。这些信号被整合进一个整数线性规划（Integer Linear Programming）公式中，从而在给定预算下为每个专家分配比特宽度。
实验结果显示，MODE 特别适合 MoE 多模态大模型：在 W3A16 设置下，该方法将平均性能损失控制在 2.9% 以内；而在极端的 2-bit 设置下，其收益更为显著。该工作为多模态混合专家模型的高效部署提供了一种新的压缩思路。