マルチモーダル継続学習（MMCL）は、モデルがマルチモーダルデータから新しい知識を継続的に獲得しつつ、それまでに学習した知識を忘れないようにすることを目的としている。既存の手法は、主にクロスモーダルな表現の整合や意味的類似性の維持に注力してきた。しかし、そうしたアプローチは、学習タスクが進むにつれて、各モダリティの相対的な寄与度やモダリティ間の相互作用がどれだけ安定に保たれるかという重要な問題を軽視している。このような意思決定レベルでの変化こそが、本研究の焦点である。
本論文では、このような変化を「モダリティ寄与ドリフト（Modality Contribution Drift, MCD）」と定義し、それを定量化するための指標であるMCDスコアを導入している。MCDスコアは、モダリティの部分集合に対して制御された介入を行い、貢献強度の変化と相対的依存度の変化を組み合わせることで、モダリティ寄与構造のドリフトを体系的に測定するものである。理論的および実証的な分析により、既存のMMCL手法がこのドリフトを効果的に軽減できない理由が明らかにされた。
そこで著者らは、以前のタスクにおけるモダリティ寄与構造を保存することを目的とした「継続的モダリティ寄与ドリフト正則化（Continual Modality Contribution Drift Regularization, CMCDR）」を提案する。MMCLの設定は、古いサンプル（例示）が利用可能かどうかによって異なるため、CMCDRにはリプレイベース（replay-based）版とリプレイフリー（replay-free）版の2種類が用意されている。
リプレイベース版では、保存された古いサンプルに対してモダリティ部分集合への介入を診断プローブとして用いる。現在のモデルと凍結された以前のモデルを比較し、古いサンプルにおけるモダリティ固有の寄与や相互作用の寄与の変化を制約することで、ドリフトを抑制する。一方、リプレイフリー版では、古いサンプルを一切使用せずに、現在のタスクサンプルをプローブとする。凍結されたモデルが持つ旧タスクの寄与応答を蒸留し、観測される寄与分布を正則化することにより、例示がなくても寄与構造の安定性を保つ。
著者らは、マルチモーダルクラス増分学習と継続的視覚質問応答（continual visual question answering）の2つのタスクで実験を行った。その結果、CMCDRはMCDを効果的に低減し、旧タスクの性能維持にも寄与することが示され、提案手法の汎用性と有効性が実証された。