arXivに掲載された新しい論文で、研究者らは3D手姿勢追跡のための適応型視覚-慣性測定ユニット（IMU）融合アプローチであるAVI-HTを提案しました。この方法の核心は、一人称視点の画像とグローブに統合された6自由度IMU信号を共同でモデル化することにあります。これにより、視覚的な遮蔽が激しい手と物体のインタラクション（HOI）シナリオにおいて、追跡の精度と可用性が大幅に向上します。
研究チームによると、AVI-HTの成功は2つの相補的な要素に支えられています。第一に、身体に装着した視覚-IMUセンサーストリームと、モーションキャプチャシステムから得られた真の3D手姿勢をペアにした同期マルチモーダル訓練データです。第二に、クロスセンサー深層注意機構であり、これが視覚情報と個々のIMUセンサーに割り当てる信頼度を適応的に調整します。この動的な重み付けにより、視覚情報が信頼できない場合にはIMUデータに、逆にIMUデータが不確かな場合には視覚情報により依存できるようになります。
実世界環境でAVI-HTを評価するため、著者らはDexGloveHOIデータセットを構築しました。このデータセットには、日常業務中にユーザーが様々な物体を操作するシーンから収集された、10万組以上の同期視覚-IMUサンプルと、同期された3D姿勢アノテーションが含まれています。実験では、AVI-HTを複数の単一モーダルおよびマルチモーダル追跡手法と比較し、UmeTrackとMANOという2つの手モデルを使用しました。
実験結果は、ベースラインと比較してAVI-HTが平均キーポイント誤差を16.1%削減し、手首整列変種では24.2%削減することを示しました。さらに、アブレーション研究により、活動タイプごとの各指IMUセンサーの寄与と、IMUノイズおよび視覚-IMU融合における時間的ずれに対するモデルの感度が明らかになりました。これらの分析は、将来のマルチモーダル手追跡システムの設計に貴重な洞察を提供します。
本論文は2026年5月20日に提出され、Ziyi Kouを含む7名の研究者によって執筆されました。論文はコンピュータビジョンとパターン認識（cs.CV）およびロボティクス（cs.RO）の分野に属し、特に従来の視覚手法が失敗しやすい遮蔽シーンにおいて、視覚と慣性センシングの融合が手追跡の堅牢性を向上させる可能性を示しています。