走向真實世界的可穿戴運動重建

隨著可穿戴裝置的普及，運動捕捉領域面臨一個獨特挑戰：如何從任意一組隨身佩戴的感測器硬體中重建全身運動？然而，現有研究大多假設固定的感測器配置，例如慣性測量單元（IMU）套裝或頭戴式顯示器（HMD）為中心的裝置，無法推廣到不同配置。相比之下，馬克斯·普朗克資訊學研究所的研究人員提出了一個全新的思路：運動捕捉應優先考慮使用者日常攜帶的輕量級、不引人注目的裝置，如智慧手機、智慧手錶、智慧眼鏡和智慧鞋墊，並系統研究這些裝置之間的協同作用。

為了實現這一目標，該團隊做出了三項主要貢獻。首先，他們構建了一個大規模多模態資料集，將上述消費級感測器採集的資料與地面實況3D運動同步。該資料集涵蓋了50種多樣化活動，包括日常任務（如走路、跑步）、體育活動（如打籃球、騎車）和社互動動（如握手、跳舞）。其次，他們提出了WHIP模型，這是一個基線生成模型，能夠從任意可用感測器子集中重建全身運動。該模型能夠穩健地處理缺失模態（例如使用者只戴了手表沒帶手機），並生成物理上合理的運動序列。第三，他們進行了感測器互補性的系統研究，量化了不同模態之間如何相互補充——例如，智慧手機的攝像頭資料可以彌補智慧手錶在手臂姿態估計上的不足。

該研究已被國際計算機視覺頂級會議ECCV 2026接收。程式碼和資料集已在專案網站上公開，供學術界和工業界使用。這項工作的意義在於，它使得使用者無需穿戴專用運動捕捉服裝，僅憑日常攜帶的智慧裝置即可實現全身運動捕捉。這會極大降低運動捕捉技術的使用門檻，推動其在虛擬現實（VR）、體育分析、人機互動、遠端康復等領域的廣泛應用。例如，在VR中，使用者只需佩戴智慧手錶和眼鏡，即可在虛擬世界中實現自然的全身動作互動；在體育訓練中，教練可以利用運動員的手機和智慧鞋墊分析其跑步姿勢。

總之，WHIP模型和相關資料集為可穿戴運動捕捉提供了一種靈活且可擴充套件的解決方案，有望改變我們對運動捕捉的傳統認知，使其從實驗室走向真實世界。