パラメータ効率の良い転移学習（PETL）は、事前学習済み基盤モデルを下流タスクに適応させるための重要なパラダイムであり、学習可能なパラメータを大幅に削減できる一方、微調整中の勾配逆伝播によるメモリオーバーヘッドが大きな課題となっています。この問題に対処するため、メモリ効率の良い転移学習（METL）が提案されました。METLは、軽量なサイドネットワークを用いてバックボーンの勾配計算を回避することでメモリ消費を抑えますが、厳しいメモリ制約によりサイドネットワークの学習能力が制限され、性能が低下するという欠点がありました。
これらの限界を克服するために、Yutong Zhangらは新しい枠組み「MP-ISMoE（Mixed-Precision Interactive Side Mixture-of-Experts）」を提案しました。このフレームワークは2つの主要な革新から成り立ちます。第一に、ガウスノイズ摂動反復量子化（GNP-IQ）方式を導入し、重みを低ビットに量子化すると同時に量子化誤差を効果的に低減することで、メモリを節約します。第二に、GNP-IQで節約したメモリを活用して、インタラクティブサイド・ミクスチャー・オブ・エキスパーツ（ISMoE）を実装します。従来の混合専門家モデルとは異なり、ISMoEは凍結されたバックボーンの顕著な特徴と相互作用することで、各入力に最適な専門家を動的に選択し、知識の忘却を抑制しながら性能を向上させます。
著者らは、画像キャプション生成や視覚的質問応答などの視覚-言語タスク、さらにテキスト分類や自然言語推論などの言語のみのタスクにおいて広範な実験を行いました。その結果、MP-ISMoEは最先端のMETL手法と同等のパラメータ効率とメモリ効率を維持しながら、精度を顕著に向上させることが示されました。本論文は、トップ会議であるAAAI 2026に採択されており、リソース制約のある環境での大規模事前学習モデルの効率的な展開に新たな道を開くものです。