跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

UT-HMR:不確定性引導的時間建模實現魯棒3D人體網格恢復

文章摘要

UT-HMR 是首個單階段HMR框架,通過預測關節相關的姿態不確定性並利用時間早期融合,在體育場景中顯著降低誤差。

來源arXiv Computer Vision作者: Zhibo Wang, Sirisha Rambhatla, Yuhao Chen, Maria Koshkina, David Clausi
UT-HMR:不確定性引導的時間建模實現魯棒3D人體網格恢復
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

單目三維人體網格恢復(HMR)在弱觀測條件下仍然難以保證可靠性。所謂弱觀測,主要來源於相機與人物之間距離過遠、遮擋以及運動模糊等因素。在體育等複雜場景中,這些問題會讓問題本身高度歧義:不同的三維姿態可能產生幾乎相同的二維投影結果。對於直接從整幅圖像中恢復所有網格、不依賴人體裁剪框或外部二維線索的單階段HMR而言,這種歧義尤為嚴重。

針對這一難題,Zhibo Wang等五位作者提出了UT-HMR(Uncertainty-guided Temporal HMR,不確定性引導的時序人體網格恢復)。據作者介紹,這是首個在單階段HMR框架中顯式建模關節間相關姿態不確定性的工作。其核心思路是讓每個人物查詢(person query)不再只輸出一個確定的完整SMPL姿態,而是預測該姿態上的高斯分佈,並用緊湊的“低秩加對角”協方差來描述關節之間的相關性。這種參數化方式在保留關節間相關結構的同時,避免了完整協方差矩陣帶來的高昂計算開銷。

在此基礎上,模型將預測出的協方差轉換為逐關節的精度權重,用於異方差監督(heteroscedastic supervision):不確定性高的關節在訓練中被賦予較低的權重,從而減少不可靠觀測對學習的干擾。與此同時,這種設計在推理階段並不引入隨機採樣,輸出保持確定性,便於實際部署。為了彌補單幀信息不足的問題,UT-HMR還引入了時序早期融合機制,在姿態解碼之前注入相鄰幀的證據,為消解不確定性所捕捉到的歧義提供必要的視覺依據。

實驗方面,UT-HMR採用輕量級的ViT-B骨幹網絡,在冰球數據集VIP-HockeyPose-v2和足球數據集WorldPose上取得了當前最優結果,MPJPE、PA-MPJPE和PVE三項指標分別最高降低4.7%、3.8%和5.6%。在3DPW數據集上,該方法與使用更大骨幹網絡和更高輸入分辨率的方法相比仍具競爭力,顯示出其在計算效率與精度之間的良好平衡。

該論文已被WACV 2027接收,歸類為計算機視覺與模式識別(cs.CV),於2026年10月26日提交至arXiv,編號為arXiv:2610.36203v1,全文約27,058 KB。作者為Zhibo Wang及另外四位合作者,論文提供了PDF、實驗性HTML以及TeX源碼等多種訪問方式。

展開要點與分析

文章情報

研究者進階

要點

  • UT-HMR 首次在單階段HMR中捕捉關節間的相關姿態不確定性
  • 使用低秩加對角協方差緊湊表示高斯分佈,並轉換為關節級精度權重
  • 時間早期融合在姿態解碼前注入相鄰幀證據,有效解決歧義
  • 在VIP-HockeyPose-v2和WorldPose上達到SOTA,MPJPE降低4.7%

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。