大規模言語モデル（LLM）や視覚言語モデル（VLM）の継続学習において、壊滅的忘却は依然として大きな障害である。モデルが複数のタスクを順次学習する際、新しいタスクの訓練が古いタスクの重要なパラメータを上書きし、以前に獲得した知識が急速に劣化してしまう。混合エキスパート（MoE）アーキテクチャはモデルの拡張に効率的な経路を提供するが、既存のLoRAベースのMoE継続学習手法には根本的なトレードオフが存在する。エキスパートを過度に隔離するとクロスタスクの知識転移が制限され、タスク固有の更新が重要な既存パラメータを上書きすると深刻な忘却が生じるのである。
この矛盾を解決するため、arXivの最新論文はCP-MoEを提案する。これは「一時エキスパート」を中心に構築された継続学習フレームワークである。一時エキスパートの中心的な役割は、新しいタスクの初期段階におけるタスク固有の更新を捕捉し、それらを安定したエキスパートへ統合するよう導くことにある。従来の手法とは異なり、CP-MoEは新しい知識を単純に隔離したり直接統合したりするのではなく、二つの主要コンポーネントを通じてより円滑な統合を実現する。
第一のコンポーネントは一貫性保持型ルーティングバイアスである。これにより、一時エキスパートを用いて新タスクの表現と安定エキスパートとの類似度を推定し、ルーティングをより互換性のあるエキスパート選択へと導く。つまり、モデルが新しい入力に遭遇したとき、ルーターは表現空間上で現在のタスクにより適合する安定エキスパートを優先的に選択する。このメカニズムはパラメータ干渉を効果的に低減しつつ、クロスタスクの知識転移能力を保持する。
第二のコンポーネントは一時エキスパート誘導正則化メカニズムである。一時エキスパートを安定エキスパートに統合する際、このメカニズムは重要な履歴パラメータを選択的に保護する。具体的には、古いタスクにとって重要なパラメータを特定し、統合プロセス中に制約を課すことで、新タスクの更新による過度な変更を防ぐ。これにより、CP-MoEは新しい知識を吸収しながら忘却リスクを大幅に低減する。
著者らは単一モーダルおよびマルチモーダルの継続学習ベンチマークでCP-MoEの有効性を検証した。多様な順次言語タスクを含むSuperNIベンチマークでは、CP-MoEは最先端の性能を達成し、未見タスクへのゼロショット転移においてもより強力な結果を示した。これはモデルが古いタスクを記憶するだけでなく、より優れた汎化能力を備えていることを示唆する。VQA v2データセットでは、CP-MoEはマルチモーダル視覚推論タスクへ効果的に拡張され、忘却を継続的に低減し、強力なMoEベースラインを上回った。
本論文は2026年5月18日に投稿され、Yang Liuら3名の著者によるもので、機械学習（cs.LG）分野に属し、人工知能、計算と言語、コンピュータビジョンなどの方向性にも関連している。CP-MoEの提案は、継続学習における安定性と可塑性のバランスに対する新たな解決策を提供し、動的環境におけるLLMとVLMの実用的展開を促進する可能性がある。