參數高效遷移學習（PETL）已成為將預訓練基礎模型適配到下游任務的關鍵範式，它通過僅微調少量參數來減少計算開銷，但在微調過程中，梯度反向傳播仍然需要大量內存來存儲中間激活和梯度，這嚴重限制了其在內存受限設備上的應用。為了解決這一問題，內存高效遷移學習（METL）方法應運而生，它通過引入輕量級的側邊網絡來繞過主幹網絡的梯度計算，從而大幅降低內存消耗。然而，METL方法通常對側邊網絡的大小施加嚴格的內存限制，這導致側邊網絡的學習能力嚴重受限，最終影響了下游任務的性能。
針對上述挑戰，Yutong Zhang及其合作者提出了一種新穎的混合精度交互式側邊混合專家框架（MP-ISMoE）。該框架包含兩個核心創新：第一，高斯噪聲擾動迭代量化（GNP-IQ）方案，該方案通過迭代量化和高斯噪聲擾動來將模型權重量化為低位表示（例如4位或8位），同時有效降低了量化誤差，從而在不顯著損失模型精度的情況下大幅節省內存。第二，利用GNP-IQ所節約的內存資源，框架引入了交互式側邊混合專家（ISMoE）機制。與傳統的混合專家模型不同，ISMoE不是簡單地使用固定的門控網絡，而是通過讓側邊網絡中的每個專家與凍結的骨幹網絡提取的顯著特徵進行交互，從而動態地選擇最合適的專家來處理當前輸入。這種交互機制不僅有效抑制了知識遺忘，還顯著提升了側邊網絡的學習能力和最終性能。
研究人員在多種視覺-語言任務（如圖像描述、視覺問答）和純語言任務（如文本分類、自然語言推理）上進行了廣泛的實驗。結果表明，與最先進的METL方法相比，MP-ISMoE在保持相當參數和內存效率的前提下，實現了顯著的準確率提升。該工作已被人工智能頂級會議AAAI 2026接收，為在資源受限場景下高效部署大型預訓練模型提供了新的思路。