多模態持續學習(MMCL)旨在使模型在持續從多模態資料中學習新知識的同時,避免遺忘已學到的知識。現有緩解災難性遺忘的方法通常側重於跨模態表徵對齊或語義相似性,然而這些方法忽略了一個關鍵問題:在增量學習過程中,不同模態的相對貢獻以及模態間的互動是否能夠保持穩定。這種在決策層面的變化,正是本文關注的核心。
本文將上述決策層面的偏移定義為模態貢獻漂移(Modality Contribution Drift, MCD),並提出了一種量化指標——MCD分數。該分數透過在模態子集上施加受控干預,結合貢獻強度變化與相對依賴變化,從而系統性地衡量模態貢獻結構的漂移程度。理論分析與經驗研究進一步揭示了現有MMCL方法為何不能可靠地緩解這種漂移的原因。
為解決這一問題,研究團隊提出了持續模態貢獻漂移正則化(Continual Modality Contribution Drift Regularization, CMCDR)方法。其核心思想是保留先前學習任務中模態貢獻的結構性特徵。由於不同的MMCL設定中,舊樣本(exemplar)是否可用存在差異,CMCDR設計了兩種版本:基於回放的版本(replay-based)和無回放的版本(replay-free)。
在基於回放的版本中,演算法將模態子集干預作為診斷探針,作用於儲存的舊樣本上。透過比較當前模型與凍結的舊模型在這些樣本上的貢獻分佈,對舊樣本的模態特定貢獻和互動貢獻施加約束,從而抑制漂移。而在無回放版本中,由於無法訪問舊樣本,演算法利用當前任務樣本作為探針,透過蒸餾凍結模型中舊任務的貢獻響應,以正則化當前觀測到的貢獻分佈。這種方法在缺乏樣本回放的情況下,依然能夠保持模態貢獻結構的穩定性。
為驗證CMCDR的有效性和通用性,研究者在多模態類增量學習(class-incremental learning)和持續視覺問答(continual visual question answering)兩個任務上進行了實驗。實驗結果表明,CMCDR在這兩種場景下均能顯著緩解模態貢獻漂移,同時有效保持模型在舊任務上的效能,證明了該方法的廣泛適用性和魯棒性。