在持續學習領域，大型語言模型（LLM）和視覺-語言模型（VLM）面臨的主要挑戰是災難性遺忘——當模型學習新任務時，會忘記先前學到的知識。儘管混合專家（MoE）架構提供了一種高效擴展的路徑，但現有的基於LoRA的MoE持續學習方法存在根本性權衡：要麼過度隔離專家，限制跨任務知識遷移；要麼允許任務特定更新覆蓋重要參數，導致嚴重遺忘。
為了應對這一挑戰，研究人員提出了CP-MoE（Consistency-Preserving Mixture-of-Experts），一種圍繞瞬態專家構建的持續學習框架。該瞬態專家負責捕獲早期的任務特定更新，並指導這些更新如何整合到穩定專家中。CP-MoE引入了兩種關鍵機制：一致性保持路由偏置和瞬態專家引導的正則化機制。路由偏置利用瞬態專家估計與穩定專家的表示相似性，從而將路由導向更兼容的專家選擇；正則化機制則在合併過程中選擇性保護重要的歷史參數。
實驗表明，CP-MoE在多種基準上表現優異。在涵蓋多樣化順序語言任務的SuperNI基準上，CP-MoE實現了最先進的性能，並對未見任務展現出更強的零樣本遷移能力。在VQA v2數據集上，該方法有效擴展到多模態視覺推理，持續減少遺忘，並優於強大的MoE基線。這項研究由Yang Liu等人完成，相關論文已於2026年5月18日提交至arXiv（論文編號2605.20247），涵蓋機器學習、人工智能、計算語言學和計算機視覺等多個領域。