走向真實世界的可穿戴運動重建

隨着可穿戴設備的普及，運動捕捉領域面臨一個獨特挑戰：如何從任意一組隨身佩戴的傳感器硬件中重建全身運動？然而，現有研究大多假設固定的傳感器配置，例如慣性測量單元（IMU）套裝或頭戴式顯示器（HMD）為中心的裝置，無法推廣到不同配置。相比之下，馬克斯·普朗克信息學研究所的研究人員提出了一個全新的思路：運動捕捉應優先考慮用户日常攜帶的輕量級、不引人注目的設備，如智能手機、智能手錶、智能眼鏡和智能鞋墊，並系統研究這些設備之間的協同作用。

為了實現這一目標，該團隊做出了三項主要貢獻。首先，他們構建了一個大規模多模態數據集，將上述消費級傳感器採集的數據與地面實況3D運動同步。該數據集涵蓋了50種多樣化活動，包括日常任務（如走路、跑步）、體育活動（如打籃球、騎車）和社交互動（如握手、跳舞）。其次，他們提出了WHIP模型，這是一個基線生成模型，能夠從任意可用傳感器子集中重建全身運動。該模型能夠穩健地處理缺失模態（例如用户只戴了手表沒帶手機），並生成物理上合理的運動序列。第三，他們進行了傳感器互補性的系統研究，量化了不同模態之間如何相互補充——例如，智能手機的攝像頭數據可以彌補智能手錶在手臂姿態估計上的不足。

該研究已被國際計算機視覺頂級會議ECCV 2026接收。代碼和數據集已在項目網站上公開，供學術界和工業界使用。這項工作的意義在於，它使得用户無需穿戴專用運動捕捉服裝，僅憑日常攜帶的智能設備即可實現全身運動捕捉。這會極大降低運動捕捉技術的使用門檻，推動其在虛擬現實（VR）、體育分析、人機交互、遠程康復等領域的廣泛應用。例如，在VR中，用户只需佩戴智能手錶和眼鏡，即可在虛擬世界中實現自然的全身動作交互；在體育訓練中，教練可以利用運動員的手機和智能鞋墊分析其跑步姿勢。

總之，WHIP模型和相關數據集為可穿戴運動捕捉提供了一種靈活且可擴展的解決方案，有望改變我們對運動捕捉的傳統認知，使其從實驗室走向真實世界。