走向真实世界的可穿戴运动重建

随着可穿戴设备的普及，运动捕捉领域面临一个独特挑战：如何从任意一组随身佩戴的传感器硬件中重建全身运动？然而，现有研究大多假设固定的传感器配置，例如惯性测量单元（IMU）套装或头戴式显示器（HMD）为中心的装置，无法推广到不同配置。相比之下，马克斯·普朗克信息学研究所的研究人员提出了一个全新的思路：运动捕捉应优先考虑用户日常携带的轻量级、不引人注目的设备，如智能手机、智能手表、智能眼镜和智能鞋垫，并系统研究这些设备之间的协同作用。

为了实现这一目标，该团队做出了三项主要贡献。首先，他们构建了一个大规模多模态数据集，将上述消费级传感器采集的数据与地面实况3D运动同步。该数据集涵盖了50种多样化活动，包括日常任务（如走路、跑步）、体育活动（如打篮球、骑车）和社交互动（如握手、跳舞）。其次，他们提出了WHIP模型，这是一个基线生成模型，能够从任意可用传感器子集中重建全身运动。该模型能够稳健地处理缺失模态（例如用户只戴了手表没带手机），并生成物理上合理的运动序列。第三，他们进行了传感器互补性的系统研究，量化了不同模态之间如何相互补充——例如，智能手机的摄像头数据可以弥补智能手表在手臂姿态估计上的不足。

该研究已被国际计算机视觉顶级会议ECCV 2026接收。代码和数据集已在项目网站上公开，供学术界和工业界使用。这项工作的意义在于，它使得用户无需穿戴专用运动捕捉服装，仅凭日常携带的智能设备即可实现全身运动捕捉。这会极大降低运动捕捉技术的使用门槛，推动其在虚拟现实（VR）、体育分析、人机交互、远程康复等领域的广泛应用。例如，在VR中，用户只需佩戴智能手表和眼镜，即可在虚拟世界中实现自然的全身动作交互；在体育训练中，教练可以利用运动员的手机和智能鞋垫分析其跑步姿势。

总之，WHIP模型和相关数据集为可穿戴运动捕捉提供了一种灵活且可扩展的解决方案，有望改变我们对运动捕捉的传统认知，使其从实验室走向真实世界。