本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

UT-HMR:不確実性誘導型時間モデリングによる堅牢な3D人体メッシュ復元

記事の要約

UT-HMRは、関節間の相関した姿勢不確実性を捉え、時間的早期融合を活用する初の単一段階HMRフレームワークであり、スポーツシーンでの曖昧性を解決する。

ソースarXiv Computer Vision著者: Zhibo Wang, Sirisha Rambhatla, Yuhao Chen, Maria Koshkina, David Clausi
UT-HMR:不確実性誘導型時間モデリングによる堅牢な3D人体メッシュ復元
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

単眼3D人体メッシュ復元(HMR)は、カメラと人物の距離が長い場合やオクルージョン、モーションブラーといった弱い観測条件下では依然として信頼性が低い。スポーツのような難しい場面では、異なる3D姿勢が似た2D投影を生み得るため、問題は非常に曖昧になる。特に、人物のクロップや外部の2D手がかりを使わず、画像全体から直接すべてのメッシュを復元するワンステージHMRでは、この曖昧さが深刻である。

こうした曖昧さに対処するため、Zhibo Wang氏ら5名の著者はUT-HMR(Uncertainty-guided Temporal HMR)を提案した。著者らの知る限り、関節間で相関する姿勢の不確実性を捉える初のワンステージHMRフレームワークである。各person queryは、完全なSMPL姿勢上のガウス分布を予測し、それをコンパクトな「低ランク+対角」共分散で表現する。このパラメータ化により、関節間の相関構造を保ちつつ、完全な共分散行列の計算コストを避けている。

予測された共分散は関節ごとの精度重みに変換され、異分散(heteroscedastic)教師あり学習に用いられる。不確実性の高い関節は学習時の重みが下げられ、信頼できない観測の影響を抑えられる。一方、推論時にはランダムサンプリングを行わず、出力は決定論的に保たれるため、実運用に適している。さらにUT-HMRは、姿勢デコードの前に隣接フレームの証拠を注入する時間的アーリーフュージョンを導入し、不確実性が捉えた曖昧さを解消するために必要な視覚的証拠を補う。

実験では、軽量なViT-Bバックボーンを用いたUT-HMRが、アイスホッケーのVIP-HockeyPose-v2とサッカーのWorldPoseで最先端の結果を達成し、MPJPE、PA-MPJPE、PVEをそれぞれ最大4.7%、3.8%、5.6%削減した。3DPWでは、より大きなバックボーンと高い入力解像度を用いる手法に対して競争力を維持しており、計算効率と精度のバランスの良さを示している。

本論文はWACV 2027に採択され、コンピュータビジョンとパターン認識(cs.CV)に分類されている。2026年10月26日にarXivへ投稿され、番号はarXiv:2610.36203v1、全文サイズは約27,058 KBである。著者はZhibo Wang氏と他の4名で、PDF、実験用HTML、TeXソースなど複数の閲覧手段が提供されている。

要点と分析を開く

記事インテリジェンス

研究者上級

要点

  • 単一段階HMRで初めて関節間の相関した姿勢不確実性をモデル化
  • 低ランク+対角共分散のコンパクトなガウス分布を関節ごとの精度重みに変換
  • 時間的早期融合が姿勢デコード前に隣接フレームの証拠を注入
  • VIP-HockeyPose-v2とWorldPoseで最先端を達成、MPJPEを最大4.7%削減

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

UT-HMR:不確実性誘導型時間モデリングによる堅牢な3D人体メッシュ復元 | AI News Hub