AI News HubLIVE
站内改写1 分钟阅读

解释RhythmFormer:远程光电容积描记法中周期性稀疏注意力的系统性XAI分析

本文针对远程光电容积描记法(rPPG)Transformer模型的可解释性不足,提出了一套定量化评估工具。作者将四种归因方法适配到RhythmFormer的双层路由注意力机制,引入了皮肤覆盖度指标,并将忠实度系数从分类任务扩展到rPPG回归。实验发现稀疏top-k路由下的多跳泄漏效应,而Beyond Intuition方法通过值投影加权和梯度掩码有效缓解,在UBFC-rPPG数据集上取得最高皮肤覆盖度(0.83)和忠实度(F=0.92)。研究推动了rPPG XAI向可审计的数值证据发展。

来源arXiv Computer Vision作者: Louis Chen, Torbj\"orn E. M. Nordling

远程光电容积描记法(rPPG)是一种通过视频分析心率的技术,近年来Transformer模型在该领域取得了出色的基准性能。然而,这些模型的决策过程仍不透明,随着rPPG向临床应用迈进,可解释性成为关键问题。现有可解释人工智能(XAI)方法大多依赖定性热图检查,缺乏定量忠实度度量和生理学验证。针对这一空白,Louis Chen和Torbjörn E. M. Nordling在最新论文中提出了一套系统的XAI评估框架。

研究团队首先将四种归因方法——原始注意力、注意力回滚、注意力流和Beyond Intuition——适配到RhythmFormer的双层路由注意力机制。该机制采用top-k稀疏选择,使得解释更具挑战性。其次,他们引入了皮肤覆盖度指标,用于量化归因权重在皮肤区域上的分布比例,从而将解释与生理学先验知识对齐。第三,他们将原本用于分类任务的SaCo忠实度系数改编至rPPG回归场景,通过原始预测与扰动后预测的rPPG波形之间的平均绝对误差(MAE)来衡量扰动影响。

应用这些工具后,作者定量揭示了稀疏top-k路由下的多跳泄漏效应:注意力回滚和流几乎完全恢复了各个精炼注意力层明确置零的连接。这意味着简单的归因方法可能高估了模型对非皮肤区域的依赖。相比之下,Beyond Intuition方法通过值投影加权回滚和梯度支持的掩码,有效缓解了这一问题。在UBFC-rPPG数据集上,Beyond Intuition取得了最高的精炼皮肤覆盖度(0.83,而标准回滚为0.57)和忠实度(F=0.92)。

尽管结果令人鼓舞,作者强调需要在更多样化的数据集和模型变体上进行验证。一个低SaCo异常值的案例研究表明,一旦替换伪影区域,所有四种方法都能一致恢复,表明归因家族在该案例中具有一致的SaCo行为。总之,这些指标将rPPG的XAI推向可审计的数值证据,包括空间对齐和扰动忠实度,从而迈向可信赖的rPPG XAI。