この論文（arXiv:2606.17118）は、Yuanteng Chen氏ら12名の著者によって2026年6月15日に投稿され、Mixture-of-Experts（MoE）マルチモーダル大規模言語モデルの高いGPUメモリコストを削減するための圧縮手法を扱っている。MoEマルチモーダルLLMは優れた性能を発揮するが、その展開コストは非常に高く、圧縮が不可欠である。ポストトレーニング量子化（PTQ）の中でも、エキスパートレベルの混合精度量子化はMoE LLMに対して有効であることが示されているが、マルチモーダルモデルに適用すると顕著な性能劣化が生じる。
著者らは、この劣化の原因がエキスパート重要度推定における2つの見落とされたバイアスにあると指摘する。第1はクロスモーダルバイアスである。視覚トークンが数的に優勢であるため、エキスパート選択頻度が視覚トークンに支配され、テキストモダリティに重要なエキスパートがマスクされてしまう。第2は視覚内バイアスである。視覚トークンに含まれる冗長なトークンの割合が大きいため、頻度統計がさらに歪められ、情報量の多い視覚内容に重要なエキスパートが不明瞭になる。
これらの問題を解決するため、研究チームはMODEフレームワークを提案した。MODEは、エキスパート選択頻度をモダリティごとに分解し、冗長な視覚トークンをフィルタリングしてノイズ除去された視覚頻度を取得し、さらにモダリティごとの量子化感度を周波数ベース推定の補完信号として評価する。これらの信号は整数線形計画（ILP）問題に統合され、与えられたビット予算の下で各エキスパートに最適なビット幅を割り当てる。
実験の結果、MODEはMoEマルチモーダルLLMに特に適していることが示された。W3A16設定では平均性能損失を2.9%以内に抑え、極端な2ビット設定ではベースラインと比較してより大きな利得が得られる。本論文は18ページ、図8点からなり、機械学習（cs.LG）および人工知能（cs.AI）分野に属する。