研究者らは、リモートフォトプレチスモグラフィ(rPPG)における主要な課題を解決するための新しい自己教師あり学習パラダイム「生理的因果探索(Physiological Causal Probing, PCP)」を提案した。この研究はZhiyi Niu、Xiaoguang Tu、Bo Zhao、Junzhe Cao、Dan Guo、Zitong Yuによって行われ、関連論文はarXivに投稿されている。
リモートフォトプレチスモグラフィは、顔のビデオから微妙な色変化を分析することで心拍数などの生理信号を非接触で計測する技術である。しかし、既存の自己教師あり学習手法はしばしば「相関トラップ」に陥る。モデルは微弱な真のrPPG信号ではなく、頭部の動きや照明変化などのビデオ内で最も顕著な周期信号を学習してしまい、異なる環境への汎化性能が低下する。
PCPパラダイムは、潜在的なrPPG信号を物理的源とみなし、ピクセルのクロミナンス変化をその視覚的表現として扱う。その核心は、受動的な相関学習から能動的で精密な介入への転換である。まずrPPG信号に関する仮説を立て、その仮説に基づいてビデオに介入を加え、介入後の変化が物理法則と一致するかを検証する。このアプローチは科学実験における因果推論に類似している。
PCPを実装するため、著者らはInterv-rPPGフレームワークを構築した。このフレームワークは2つの主要コンポーネントから成る:rPPG信号を仮説する抽出器PhysMambaFormerと、その仮説に基づいてビデオのクロミナンス領域に精密な介入を行う制御可能生理信号エディタである。エディタはビデオの低周波クロミナンス成分を変更することで、rPPG信号の追加または除去を模倣する。Interv-rPPGは2つのメカニズムで仮説の物理的現実性を検証する:「ヌリングによる反証可能性」は仮説信号を除去した後にビデオが識別不能になることを要求し、「公理的等変性」は介入が期待される物理変化と一致することを要求する。
実験結果は、VIPL-HRやMMPDなどの複雑なデータセットにおいて、本手法がドメイン内およびクロスドメイン性能を大幅に向上させることを示している。クロスデータセットテストでは、Interv-rPPGは従来の教師あり学習手法を凌駕した。ただし、ノイズの少ないクリーンデータセットでは、介入メカニズムがわずかな残留クロミナンスノイズを導入する可能性があるため、性能は教師ありベースラインと同等である。
広範な診断分析により、PCPが動きや照明の外乱に対して頑健であることが確認された。この研究は、生理計測における自己教師あり学習に新たな視点を提供し、非接触健康モニタリング技術の発展に貢献することが期待される。