現実世界のウェアラブル動作再構築に向けて

ウェアラブルデバイスの普及に伴い、モーションキャプチャの分野では新たな課題が浮上しています。それは、身に着けた任意のセンサーハードウェアのセットから全身動作を再構築することです。しかし、既存の研究の多くは、IMUスーツやHMD中心のリグといった固定されたセンサー構成を前提としており、異なる構成に一般化できません。これに対し、マックス・プランク情報学研究所の研究者たちは、モーションキャプチャはユーザーが日常的に持ち歩くスマートフォン、スマートウォッチ、スマートグラス、スマートインソールなどの軽量で目立たないデバイスを優先し、それらの相互作用を研究すべきだと主張しています。

この目的のため、研究チームは3つの主要な貢献を行いました。第一に、これらのコンシューマーグレードのセンサーとグラウンドトゥルースの3D動作を同期させた大規模マルチモーダルデータセットを構築しました。データセットは、日常のタスク（歩く、走る）、スポーツ（バスケットボール、自転車）、社会的相互作用（握手、ダンス）を含む50種類の多様なアクティビティをカバーしています。第二に、利用可能なセンサーの任意のサブセットから動作を再構築できるベースライン生成モデルWHIPを提案しました。このモデルは、欠落したモダリティ（例えば、ユーザーがスマートフォンを持っていない場合）をロバストに処理し、物理的に妥当な動作を生成します。第三に、センサーの相補性に関する系統的な研究を実施し、異なるモダリティがどのように相互補完するかを定量化しました。例えば、スマートフォンのカメラデータは、スマートウォッチの腕の姿勢推定における不足を補うことができます。

この研究は、国際的なコンピュータビジョンのトップ会議であるECCV 2026で採択されました。コードとデータセットはプロジェクトのウェブサイトで公開されており、学界や産業界で利用可能です。この研究の意義は、ユーザーが専用のモーションキャプチャスーツを着用することなく、日常的に持ち歩くスマートデバイスだけで全身動作をキャプチャできる可能性を開く点にあります。これにより、モーションキャプチャ技術の利用障壁が大幅に低下し、バーチャルリアリティ（VR）、スポーツ分析、ヒューマンコンピュータインタラクション、遠隔リハビリテーションなどの分野での応用が促進されると期待されます。例えば、VRではユーザーがスマートウォッチとスマートグラスを装着するだけで自然な全身動作のインタラクションが可能になり、スポーツトレーニングではコーチが選手のスマートフォンとスマートインソールからランニングフォームを分析できます。

まとめると、WHIPモデルと関連データセットは、ウェアラブルモーションキャプチャに対する柔軟で拡張可能なソリューションを提供し、モーションキャプチャを実験室から現実世界へと導くものです。