跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

基於干預的自監督學習:遠程光電容積描記法的因果探測範式

文章摘要

遠程光電容積描記法(rPPG)可實現便捷的非接觸生理測量。現有自監督學習(SSL)方法常陷入相關陷阱,傾向於學習數據中最主要的週期信號(如高能運動或光照噪聲),而非微弱的真實rPPG信號,導致模型泛化能力差。為解決該問題,作者提出一種新的SSL範式——生理因果探測(PCP),將潛在rPPG信號視為底層物理源,像素色度變化視為其視覺表現。其核心思想是從被動相關學習轉向主動精確干預:基於提出的rPPG假設對視頻進行干預,並驗證干預後的變化是否符合物理預期。作者提出了實現PCP的Interv-rPPG框架:rPPG提取器PhysMambaFormer假設rPPG信號,可控生理信號編輯器基於該假設對視頻進行精確的色度域干預。Interv-rPPG通過“歸零可證偽性”和“公理等變性”驗證假設的物理真實性。編輯器通過干預視頻的低頻色度分量實現rPPG信號的精確編輯。該方法在VIPL-HR和MMPD等挑戰性數據集上提升了域內和跨域性能,並在複雜跨數據集設置中超越監督基線,同時在乾淨數據集上保持競爭力(干預機制可能引入輕微殘餘色度噪聲)。大量實驗(包括干擾敏感性診斷分析)表明PCP範式能有效抵抗運動和光照偽影。

來源arXiv Computer Vision作者: Zhiyi Niu, Xiaoguang Tu, Bo Zhao, Junzhe Cao, Dan Guo, Zitong Yu
基於干預的自監督學習:遠程光電容積描記法的因果探測範式
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

研究人員提出了一種名為“生理因果探測”(Physiological Causal Probing, PCP)的新型自監督學習範式,用於解決遠程光電容積描記法(rPPG)中的關鍵挑戰。該工作由Zhiyi Niu、Xiaoguang Tu、Bo Zhao、Junzhe Cao、Dan Guo和Zitong Yu完成,相關論文已提交至arXiv。

遠程光電容積描記法通過分析面部視頻中的細微顏色變化來測量心率等生理信號,具有非接觸、便捷等優點。然而,現有自監督學習方法通常陷入“相關陷阱”:模型傾向於學習視頻中最顯著的週期性信號——例如頭部運動或光照變化——而不是微弱的真實rPPG信號。這導致模型在跨場景泛化時表現不佳。

PCP範式將潛在rPPG信號視為物理源,而像素色度變化是其視覺表現。其核心創新在於從被動相關學習轉向主動因果乾預:首先提出一個關於rPPG信號的假設,然後對視頻進行干預,最後驗證干預結果是否符合物理規律。這種方法類似於科學實驗中的因果推斷。

基於PCP,作者構建了Interv-rPPG框架。該框架包含兩個關鍵組件:PhysMambaFormer——一個用於假設rPPG信號的提取器,以及可控生理信號編輯器——能夠在色度域對視頻進行精確干預。編輯器通過修改視頻的低頻色度分量來模擬或消除rPPG信號。Interv-rPPG通過兩種機制驗證假設的物理真實性:“歸零可證偽性”(Falsifiability via Nulling)要求刪除假設信號後視頻不可辨別;“公理等變性”(Axiomatic Equivariance)要求干預與預期物理變化一致。

實驗結果表明,該方法在VIPL-HR和MMPD等複雜數據集上顯著提升了域內和跨域性能。在跨數據集測試中,Interv-rPPG甚至超越了傳統的監督學習方法。但在噪聲較小的乾淨數據集上,干預機制可能引入輕微殘餘色度噪聲,模型性能與監督基線持平。

大量診斷分析進一步驗證了PCP對運動和光照干擾的魯棒性。該研究為自監督學習在生理測量中的應用提供了全新思路,有望推動非接觸健康監測技術的發展。

展開要點與分析

文章情報

工程師進階

要點

  • 現有自監督學習方法在rPPG中易受運動和光照噪聲干擾,陷入相關陷阱。
  • 提出生理因果探測(PCP)範式,通過主動干預驗證rPPG假設。
  • Interv-rPPG框架包含PhysMambaFormer提取器和可控色度編輯器。
  • 在多個數據集上實現了優於監督基線的跨域性能。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。