引數高效遷移學習（PETL）已成為將預訓練基礎模型適配到下游任務的關鍵正規化，它透過僅微調少量引數來減少計算開銷，但在微調過程中，梯度反向傳播仍然需要大量記憶體來儲存中間啟用和梯度，這嚴重限制了其在記憶體受限裝置上的應用。為了解決這一問題，記憶體高效遷移學習（METL）方法應運而生，它透過引入輕量級的側邊網路來繞過主幹網路的梯度計算，從而大幅降低記憶體消耗。然而，METL方法通常對側邊網路的大小施加嚴格的記憶體限制，這導致側邊網路的學習能力嚴重受限，最終影響了下游任務的效能。
針對上述挑戰，Yutong Zhang及其合作者提出了一種新穎的混合精度互動式側邊混合專家框架（MP-ISMoE）。該框架包含兩個核心創新：第一，高斯噪聲擾動迭代量化（GNP-IQ）方案，該方案透過迭代量化和高斯噪聲擾動來將模型權重量化為低位表示（例如4位或8位），同時有效降低了量化誤差，從而在不顯著損失模型精度的情況下大幅節省記憶體。第二，利用GNP-IQ所節約的記憶體資源，框架引入了互動式側邊混合專家（ISMoE）機制。與傳統的混合專家模型不同，ISMoE不是簡單地使用固定的門控網路，而是透過讓側邊網路中的每個專家與凍結的骨幹網路提取的顯著特徵進行互動，從而動態地選擇最合適的專家來處理當前輸入。這種互動機制不僅有效抑制了知識遺忘，還顯著提升了側邊網路的學習能力和最終效能。
研究人員在多種視覺-語言任務（如影像描述、視覺問答）和純語言任務（如文本分類、自然語言推理）上進行了廣泛的實驗。結果表明，與最先進的METL方法相比，MP-ISMoE在保持相當引數和記憶體效率的前提下，實現了顯著的準確率提升。該工作已被人工智慧頂級會議AAAI 2026接收，為在資源受限場景下高效部署大型預訓練模型提供了新的思路。