跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

空间伪影一致性决定基于图块的rPPG的编解码器鲁棒性

文章摘要

本文提出空间伪影一致性(SAC)指标,用于解释在视频压缩下基于图块的空间分解方法何时优于全局投影的rPPG方法。SAC定义为4x4图块间绿色通道协方差矩阵中非对角线能量与对角线能量之比(带通0.75-2.5 Hz),能解释93.8%的PCA优势方差(r=+0.969)。在280名受试者、11种编解码器退化变体和13种算法上的实验表明,SAC小于0.30且运动低至中等是PatchPCA优势的必要条件,MPEG-4转码管线应被排除。

来源arXiv Computer Vision作者: Achraf Ben Ahmed
空间伪影一致性决定基于图块的rPPG的编解码器鲁棒性
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

远程光电容积描记(rPPG)在未压缩基准上已能实现较低的心率误差,但实际部署中视频往往经过压缩信道传输,例如远程医疗、新生儿重症监护和驾驶员疲劳监测等场景。此前尚无研究明确指出在编解码器压缩下,空间分解方法何时会优于全局投影方法,而这一物理量正是本文的核心贡献。

研究者提出了空间伪影一致性(Spatial Artifact Coherence, SAC)的概念,将其定义为4x4图块间绿色通道协方差矩阵中非对角线能量与对角线能量之比,计算时采用0.75-2.5 Hz的带通滤波。同时,论文还提出了PatchPCA算法族,包含四种编解码器感知的rPPG算法。为了验证SAC的有效性,研究团队在三个公开数据集上对280名受试者进行了评估,覆盖11种编解码器退化变体(包括MPEG-4、H.265、H.264、JPEG和色度子采样)以及13种算法,并采用Wilcoxon检验(BH-FDR校正,q < 0.05),共执行了904次测试。

实验结果显示,SAC能够解释PCA优势在不同变体间93.8%的方差(r = +0.969),且不同编解码器族之间呈现零重叠。具体而言,非MPEG-4变体的SAC值集中在0.10-0.18之间,PCA胜率为84-90%;而MPEG-4变体的SAC值集中在0.48-0.59之间,胜率仅为61%,平均改进幅度降低了5.8倍。在受试者内部,78%的受试者确认了预期模式(p < 10^-22,dz = 0.73)。不过,变体内受试者级别的SAC相关性仅为r = +0.099,说明SAC主要用于区分编解码器族,而非预测个体结果。进一步分析表明,MPEG-4的影响是结构性的,源于宏块DCT几何结构而非噪声幅度,并且由源编解码器状态决定,与分辨率无关。

在算法比较中,P-Hybrid被认定为最具部署鲁棒性的算法。研究还确立了PatchPCA优势的两个必要操作条件:SAC小于0.30,且运动程度为低至中等。这一条件直接排除了从原始视频到MPEG-4的转码管线。SAC为临床远程监控系统中的编解码器感知rPPG算法选择提供了一个有物理依据的度量指标,有助于在实际部署中做出更合理的算法决策。

展开要点与分析

文章情报

研究者进阶

要点

  • SAC解释93.8%的PCA优势方差,且不同编解码器族间零重叠
  • MPEG-4的效应是结构性的(宏块DCT几何),由源编解码器状态决定而非分辨率
  • P-Hybrid被确定为最具部署鲁棒性的算法
  • PatchPCA优势的两个必要操作条件:SAC < 0.30且运动低至中等

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。