CP-MoE：用于持续学习的一致性保持混合专家模型
CP-MoE是一种针对大型语言模型和视觉-语言模型中灾难性遗忘问题的持续学习框架。它通过引入一个瞬态专家来捕获早期任务特定更新，并结合一致性保持路由偏置和正则化机制，在减少参数干扰和遗忘的同时保持跨任务知识迁移。在SuperNI和VQA v2基准测试上，CP-MoE取得了最先进性能，并展现出更强的零样本迁移能力。
在持续学习领域，大型语言模型（LLM）和视觉-语言模型（VLM）面临的主要挑战是灾难性遗忘——当模型学习新任务时，会忘记先前学到的知识。尽管混合专家（MoE）架构提供了一种高效扩展的路径，但现有的基于LoRA的MoE持续学习方法存在根本性权衡：要么过度隔离专家，限制跨任务知识迁移；要么允许任务特定更新覆盖重要参数，导致严重遗忘。
为了应对这一挑战，研究人员提出了CP-MoE（Consistency-Preserving Mixture-of-Experts），一种围绕瞬态专家构建的持续学习框架。该瞬态专家负责捕获早期的任务特定更新，并指导这些更新如何整合到稳定专家中。CP-MoE引入了两种关键机制：一致性保持路由偏置和瞬态专家引导的正则化机制。路由偏置利用瞬态专家估计与稳定专家的表示相似性，从而将路由导向更兼容的专家选择；正则化机制则在合并过程中选择性保护重要的历史参数。
实验表明，CP-MoE在多种基准上表现优异。在涵盖多样化顺序语言任务的SuperNI基准上，CP-MoE实现了最先进的性能，并对未见任务展现出更强的零样本迁移能力。在VQA v2数据集上，该方法有效扩展到多模态视觉推理，持续减少遗忘，并优于强大的MoE基线。这项研究由Yang Liu等人完成，相关论文已于2026年5月18日提交至arXiv（论文编号2605.20247），涵盖机器学习、人工智能、计算语言学和计算机视觉等多个领域。