参数高效迁移学习（PETL）已成为将预训练基础模型适配到下游任务的关键范式，它通过仅微调少量参数来减少计算开销，但在微调过程中，梯度反向传播仍然需要大量内存来存储中间激活和梯度，这严重限制了其在内存受限设备上的应用。为了解决这一问题，内存高效迁移学习（METL）方法应运而生，它通过引入轻量级的侧边网络来绕过主干网络的梯度计算，从而大幅降低内存消耗。然而，METL方法通常对侧边网络的大小施加严格的内存限制，这导致侧边网络的学习能力严重受限，最终影响了下游任务的性能。
针对上述挑战，Yutong Zhang及其合作者提出了一种新颖的混合精度交互式侧边混合专家框架（MP-ISMoE）。该框架包含两个核心创新：第一，高斯噪声扰动迭代量化（GNP-IQ）方案，该方案通过迭代量化和高斯噪声扰动来将模型权重量化为低位表示（例如4位或8位），同时有效降低了量化误差，从而在不显著损失模型精度的情况下大幅节省内存。第二，利用GNP-IQ所节约的内存资源，框架引入了交互式侧边混合专家（ISMoE）机制。与传统的混合专家模型不同，ISMoE不是简单地使用固定的门控网络，而是通过让侧边网络中的每个专家与冻结的骨干网络提取的显著特征进行交互，从而动态地选择最合适的专家来处理当前输入。这种交互机制不仅有效抑制了知识遗忘，还显著提升了侧边网络的学习能力和最终性能。
研究人员在多种视觉-语言任务（如图像描述、视觉问答）和纯语言任务（如文本分类、自然语言推理）上进行了广泛的实验。结果表明，与最先进的METL方法相比，MP-ISMoE在保持相当参数和内存效率的前提下，实现了显著的准确率提升。该工作已被人工智能顶级会议AAAI 2026接收，为在资源受限场景下高效部署大型预训练模型提供了新的思路。