跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

多模態持續學習中的模態貢獻漂移正則化

文章摘要

多模態持續學習(MMCL)旨在從多模態資料中學習新知識並保留舊知識。現有方法多聚焦於跨模態表徵對齊或語義相似性,卻忽視了各模態相對貢獻及其互動在增量任務中是否保持穩定。本文將該決策層面的變化定義為模態貢獻漂移(MCD),並提出MCD分數進行量化。基於理論分析,作者提出持續模態貢獻漂移正則化(CMCDR)方法,包含基於回放和無回放兩種版本,透過模態子集干預作為探針,約束舊任務模態貢獻結構的變化。實驗驗證了該方法在多模態類增量學習和持續視覺問答任務上的有效性與泛化性。

來源arXiv Machine Learning作者: Zhen Zhang, Jielei Chu, Bin Liu, Tianrui Li
多模態持續學習中的模態貢獻漂移正則化
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

多模態持續學習(MMCL)旨在使模型在持續從多模態資料中學習新知識的同時,避免遺忘已學到的知識。現有緩解災難性遺忘的方法通常側重於跨模態表徵對齊或語義相似性,然而這些方法忽略了一個關鍵問題:在增量學習過程中,不同模態的相對貢獻以及模態間的互動是否能夠保持穩定。這種在決策層面的變化,正是本文關注的核心。

本文將上述決策層面的偏移定義為模態貢獻漂移(Modality Contribution Drift, MCD),並提出了一種量化指標——MCD分數。該分數透過在模態子集上施加受控干預,結合貢獻強度變化與相對依賴變化,從而系統性地衡量模態貢獻結構的漂移程度。理論分析與經驗研究進一步揭示了現有MMCL方法為何不能可靠地緩解這種漂移的原因。

為解決這一問題,研究團隊提出了持續模態貢獻漂移正則化(Continual Modality Contribution Drift Regularization, CMCDR)方法。其核心思想是保留先前學習任務中模態貢獻的結構性特徵。由於不同的MMCL設定中,舊樣本(exemplar)是否可用存在差異,CMCDR設計了兩種版本:基於回放的版本(replay-based)和無回放的版本(replay-free)。

在基於回放的版本中,演算法將模態子集干預作為診斷探針,作用於儲存的舊樣本上。透過比較當前模型與凍結的舊模型在這些樣本上的貢獻分佈,對舊樣本的模態特定貢獻和互動貢獻施加約束,從而抑制漂移。而在無回放版本中,由於無法訪問舊樣本,演算法利用當前任務樣本作為探針,透過蒸餾凍結模型中舊任務的貢獻響應,以正則化當前觀測到的貢獻分佈。這種方法在缺乏樣本回放的情況下,依然能夠保持模態貢獻結構的穩定性。

為驗證CMCDR的有效性和通用性,研究者在多模態類增量學習(class-incremental learning)和持續視覺問答(continual visual question answering)兩個任務上進行了實驗。實驗結果表明,CMCDR在這兩種場景下均能顯著緩解模態貢獻漂移,同時有效保持模型在舊任務上的效能,證明了該方法的廣泛適用性和魯棒性。

展開要點與分析

文章情報

工程師進階

要點

  • 提出模態貢獻漂移(MCD)概念,並設計MCD分數量化模態貢獻強度的變化與相對依賴性的改變。
  • 分析現有MMCL方法無法可靠緩解MCD的原因,提出持續模態貢獻漂移正則化(CMCDR)方法。
  • CMCDR包含基於回放和無回放兩種版本,分別使用儲存的舊樣本或當前任務樣本作為探針,約束貢獻結構漂移。
  • 實驗表明CMCDR在多模態類增量學習和持續視覺問答中均有效,驗證了其通用性。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。