灾难性遗忘一直是大语言模型（LLM）和视觉-语言模型（VLM）在持续学习过程中面临的主要障碍。当模型依次学习多个任务时，新任务的训练往往会覆盖旧任务的重要参数，导致先前获得的知识迅速退化。虽然混合专家（MoE）架构为模型扩展提供了一条高效路径，但现有的基于 LoRA 的 MoE 持续学习方法仍然面临一个根本性权衡：要么过度隔离专家，限制了跨任务的知识迁移；要么允许任务特定的更新覆盖重要的现有参数，造成严重的遗忘。
为了解决这一矛盾，来自 arXiv 的最新论文提出了 CP-MoE，一个围绕“瞬态专家”构建的持续学习框架。瞬态专家的核心作用是捕获新任务早期的任务特定更新，并引导这些更新整合到稳定的专家中。与传统方法不同，CP-MoE 并不简单地将新知识隔离或直接合并，而是通过两个关键组件实现更平滑的整合。
第一个组件是一致性保持路由偏置。它利用瞬态专家来估计新任务表示与稳定专家之间的相似度，从而将路由导向更兼容的专家选择。这意味着，当模型遇到新输入时，路由器会优先选择那些在表示空间上与当前任务更匹配的稳定专家，而不是随机或仅基于任务ID进行选择。这种机制有效减少了参数干扰，同时保留了跨任务的知识迁移能力。
第二个组件是瞬态专家引导的正则化机制。在将瞬态专家合并到稳定专家时，该机制会选择性地保护重要的历史参数。具体来说，它识别出对旧任务至关重要的参数，并在合并过程中施加约束，防止这些参数被新任务的更新过度修改。通过这种方式，CP-MoE 在吸收新知识的同时，显著降低了遗忘风险。
作者在单模态和多模态的持续学习基准上验证了 CP-MoE 的有效性。在 SuperNI 基准上，该框架涵盖了多种顺序语言任务，CP-MoE 取得了最先进的性能，并且在对未见任务的零样本迁移上表现更强。这表明模型不仅记住了旧任务，还具备了更好的泛化能力。在 VQA v2 数据集上，CP-MoE 成功扩展到多模态视觉推理任务，持续减少遗忘，并超越了强大的 MoE 基线方法。
该论文提交于 2026 年 5 月 18 日，作者为 Yang Liu 等三人，属于机器学习（cs.LG）领域，同时涉及人工智能、计算与语言以及计算机视觉等方向。CP-MoE 的提出为持续学习中的稳定性与可塑性平衡提供了一种新颖的解决思路，有望推动 LLM 和 VLM 在动态环境中的实际部署。