跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

基于干预的自监督学习:远程光电容积描记法的因果探测范式

文章摘要

远程光电容积描记法(rPPG)可实现便捷的非接触生理测量。现有自监督学习(SSL)方法常陷入相关陷阱,倾向于学习数据中最主要的周期信号(如高能运动或光照噪声),而非微弱的真实rPPG信号,导致模型泛化能力差。为解决该问题,作者提出一种新的SSL范式——生理因果探测(PCP),将潜在rPPG信号视为底层物理源,像素色度变化视为其视觉表现。其核心思想是从被动相关学习转向主动精确干预:基于提出的rPPG假设对视频进行干预,并验证干预后的变化是否符合物理预期。作者提出了实现PCP的Interv-rPPG框架:rPPG提取器PhysMambaFormer假设rPPG信号,可控生理信号编辑器基于该假设对视频进行精确的色度域干预。Interv-rPPG通过“归零可证伪性”和“公理等变性”验证假设的物理真实性。编辑器通过干预视频的低频色度分量实现rPPG信号的精确编辑。该方法在VIPL-HR和MMPD等挑战性数据集上提升了域内和跨域性能,并在复杂跨数据集设置中超越监督基线,同时在干净数据集上保持竞争力(干预机制可能引入轻微残余色度噪声)。大量实验(包括干扰敏感性诊断分析)表明PCP范式能有效抵抗运动和光照伪影。

来源arXiv Computer Vision作者: Zhiyi Niu, Xiaoguang Tu, Bo Zhao, Junzhe Cao, Dan Guo, Zitong Yu
基于干预的自监督学习:远程光电容积描记法的因果探测范式
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

研究人员提出了一种名为“生理因果探测”(Physiological Causal Probing, PCP)的新型自监督学习范式,用于解决远程光电容积描记法(rPPG)中的关键挑战。该工作由Zhiyi Niu、Xiaoguang Tu、Bo Zhao、Junzhe Cao、Dan Guo和Zitong Yu完成,相关论文已提交至arXiv。

远程光电容积描记法通过分析面部视频中的细微颜色变化来测量心率等生理信号,具有非接触、便捷等优点。然而,现有自监督学习方法通常陷入“相关陷阱”:模型倾向于学习视频中最显著的周期性信号——例如头部运动或光照变化——而不是微弱的真实rPPG信号。这导致模型在跨场景泛化时表现不佳。

PCP范式将潜在rPPG信号视为物理源,而像素色度变化是其视觉表现。其核心创新在于从被动相关学习转向主动因果干预:首先提出一个关于rPPG信号的假设,然后对视频进行干预,最后验证干预结果是否符合物理规律。这种方法类似于科学实验中的因果推断。

基于PCP,作者构建了Interv-rPPG框架。该框架包含两个关键组件:PhysMambaFormer——一个用于假设rPPG信号的提取器,以及可控生理信号编辑器——能够在色度域对视频进行精确干预。编辑器通过修改视频的低频色度分量来模拟或消除rPPG信号。Interv-rPPG通过两种机制验证假设的物理真实性:“归零可证伪性”(Falsifiability via Nulling)要求删除假设信号后视频不可辨别;“公理等变性”(Axiomatic Equivariance)要求干预与预期物理变化一致。

实验结果表明,该方法在VIPL-HR和MMPD等复杂数据集上显著提升了域内和跨域性能。在跨数据集测试中,Interv-rPPG甚至超越了传统的监督学习方法。但在噪声较小的干净数据集上,干预机制可能引入轻微残余色度噪声,模型性能与监督基线持平。

大量诊断分析进一步验证了PCP对运动和光照干扰的鲁棒性。该研究为自监督学习在生理测量中的应用提供了全新思路,有望推动非接触健康监测技术的发展。

展开要点与分析

文章情报

工程师进阶

要点

  • 现有自监督学习方法在rPPG中易受运动和光照噪声干扰,陷入相关陷阱。
  • 提出生理因果探测(PCP)范式,通过主动干预验证rPPG假设。
  • Interv-rPPG框架包含PhysMambaFormer提取器和可控色度编辑器。
  • 在多个数据集上实现了优于监督基线的跨域性能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

基于干预的自监督学习:远程光电容积描记法的因果探测范式 | AI News Hub