跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

UT-HMR:不确定性引导的时间建模实现鲁棒3D人体网格恢复

文章摘要

UT-HMR 是首个单阶段HMR框架,通过预测关节相关的姿态不确定性并利用时间早期融合,在体育场景中显著降低误差。

来源arXiv Computer Vision作者: Zhibo Wang, Sirisha Rambhatla, Yuhao Chen, Maria Koshkina, David Clausi
UT-HMR:不确定性引导的时间建模实现鲁棒3D人体网格恢复
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

单目三维人体网格恢复(HMR)在弱观测条件下仍然难以保证可靠性。所谓弱观测,主要来源于相机与人物之间距离过远、遮挡以及运动模糊等因素。在体育等复杂场景中,这些问题会让问题本身高度歧义:不同的三维姿态可能产生几乎相同的二维投影结果。对于直接从整幅图像中恢复所有网格、不依赖人体裁剪框或外部二维线索的单阶段HMR而言,这种歧义尤为严重。

针对这一难题,Zhibo Wang等五位作者提出了UT-HMR(Uncertainty-guided Temporal HMR,不确定性引导的时序人体网格恢复)。据作者介绍,这是首个在单阶段HMR框架中显式建模关节间相关姿态不确定性的工作。其核心思路是让每个人物查询(person query)不再只输出一个确定的完整SMPL姿态,而是预测该姿态上的高斯分布,并用紧凑的“低秩加对角”协方差来描述关节之间的相关性。这种参数化方式在保留关节间相关结构的同时,避免了完整协方差矩阵带来的高昂计算开销。

在此基础上,模型将预测出的协方差转换为逐关节的精度权重,用于异方差监督(heteroscedastic supervision):不确定性高的关节在训练中被赋予较低的权重,从而减少不可靠观测对学习的干扰。与此同时,这种设计在推理阶段并不引入随机采样,输出保持确定性,便于实际部署。为了弥补单帧信息不足的问题,UT-HMR还引入了时序早期融合机制,在姿态解码之前注入相邻帧的证据,为消解不确定性所捕捉到的歧义提供必要的视觉依据。

实验方面,UT-HMR采用轻量级的ViT-B骨干网络,在冰球数据集VIP-HockeyPose-v2和足球数据集WorldPose上取得了当前最优结果,MPJPE、PA-MPJPE和PVE三项指标分别最高降低4.7%、3.8%和5.6%。在3DPW数据集上,该方法与使用更大骨干网络和更高输入分辨率的方法相比仍具竞争力,显示出其在计算效率与精度之间的良好平衡。

该论文已被WACV 2027接收,归类为计算机视觉与模式识别(cs.CV),于2026年10月26日提交至arXiv,编号为arXiv:2610.36203v1,全文约27,058 KB。作者为Zhibo Wang及另外四位合作者,论文提供了PDF、实验性HTML以及TeX源码等多种访问方式。

展开要点与分析

文章情报

研究者进阶

要点

  • UT-HMR 首次在单阶段HMR中捕捉关节间的相关姿态不确定性
  • 使用低秩加对角协方差紧凑表示高斯分布,并转换为关节级精度权重
  • 时间早期融合在姿态解码前注入相邻帧证据,有效解决歧义
  • 在VIP-HockeyPose-v2和WorldPose上达到SOTA,MPJPE降低4.7%

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。