跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

基於干預的自監督學習:遠端光電容積描記法的因果探測正規化

文章摘要

遠端光電容積描記法(rPPG)可實現便捷的非接觸生理測量。現有自監督學習(SSL)方法常陷入相關陷阱,傾向於學習資料中最主要的週期訊號(如高能運動或光照噪聲),而非微弱的真實rPPG訊號,導致模型泛化能力差。為解決該問題,作者提出一種新的SSL正規化——生理因果探測(PCP),將潛在rPPG訊號視為底層物理源,畫素色度變化視為其視覺表現。其核心思想是從被動相關學習轉向主動精確干預:基於提出的rPPG假設對影片進行干預,並驗證干預後的變化是否符合物理預期。作者提出了實現PCP的Interv-rPPG框架:rPPG提取器PhysMambaFormer假設rPPG訊號,可控生理訊號編輯器基於該假設對影片進行精確的色度域干預。Interv-rPPG透過“歸零可證偽性”和“公理等變性”驗證假設的物理真實性。編輯器透過干預影片的低頻色度分量實現rPPG訊號的精確編輯。該方法在VIPL-HR和MMPD等挑戰性資料集上提升了域內和跨域效能,並在複雜跨資料集設定中超越監督基線,同時在乾淨資料集上保持競爭力(干預機制可能引入輕微殘餘色度噪聲)。大量實驗(包括干擾敏感性診斷分析)表明PCP正規化能有效抵抗運動和光照偽影。

來源arXiv Computer Vision作者: Zhiyi Niu, Xiaoguang Tu, Bo Zhao, Junzhe Cao, Dan Guo, Zitong Yu
基於干預的自監督學習:遠端光電容積描記法的因果探測正規化
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

研究人員提出了一種名為“生理因果探測”(Physiological Causal Probing, PCP)的新型自監督學習正規化,用於解決遠端光電容積描記法(rPPG)中的關鍵挑戰。該工作由Zhiyi Niu、Xiaoguang Tu、Bo Zhao、Junzhe Cao、Dan Guo和Zitong Yu完成,相關論文已提交至arXiv。

遠端光電容積描記法透過分析面部影片中的細微顏色變化來測量心率等生理訊號,具有非接觸、便捷等優點。然而,現有自監督學習方法通常陷入“相關陷阱”:模型傾向於學習影片中最顯著的週期性訊號——例如頭部運動或光照變化——而不是微弱的真實rPPG訊號。這導致模型在跨場景泛化時表現不佳。

PCP正規化將潛在rPPG訊號視為物理源,而畫素色度變化是其視覺表現。其核心創新在於從被動相關學習轉向主動因果乾預:首先提出一個關於rPPG訊號的假設,然後對影片進行干預,最後驗證干預結果是否符合物理規律。這種方法類似於科學實驗中的因果推斷。

基於PCP,作者構建了Interv-rPPG框架。該框架包含兩個關鍵元件:PhysMambaFormer——一個用於假設rPPG訊號的提取器,以及可控生理訊號編輯器——能夠在色度域對影片進行精確干預。編輯器透過修改影片的低頻色度分量來模擬或消除rPPG訊號。Interv-rPPG透過兩種機制驗證假設的物理真實性:“歸零可證偽性”(Falsifiability via Nulling)要求刪除假設訊號後影片不可辨別;“公理等變性”(Axiomatic Equivariance)要求干預與預期物理變化一致。

實驗結果表明,該方法在VIPL-HR和MMPD等複雜資料集上顯著提升了域內和跨域效能。在跨資料集測試中,Interv-rPPG甚至超越了傳統的監督學習方法。但在噪聲較小的乾淨資料集上,干預機制可能引入輕微殘餘色度噪聲,模型效能與監督基線持平。

大量診斷分析進一步驗證了PCP對運動和光照干擾的魯棒性。該研究為自監督學習在生理測量中的應用提供了全新思路,有望推動非接觸健康監測技術的發展。

展開要點與分析

文章情報

工程師進階

要點

  • 現有自監督學習方法在rPPG中易受運動和光照噪聲干擾,陷入相關陷阱。
  • 提出生理因果探測(PCP)正規化,透過主動干預驗證rPPG假設。
  • Interv-rPPG框架包含PhysMambaFormer提取器和可控色度編輯器。
  • 在多個資料集上實現了優於監督基線的跨域效能。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。