HoloMotion-1技術報告
本文介紹了HoloMotion-1，一種用於零樣本全身運動跟蹤的人形運動基礎模型。其關鍵創新在於利用大規模混合運動語料庫擴展控制策略訓練，其中從現實視頻中重建的運動提供了主要多樣性來源，而精心策劃的動作捕捉和內部運動數據提供了更高質量的監督和部署導向覆蓋。該模型集成了大容量時間建模、稀疏激活的混合專家Transformer和KV緩存推理以實現實時控制，以及序列級訓練策略。實驗表明，HoloMotion-1在多種未見過的運動基準上表現穩健，顯著提高了跟蹤精度，並可直接轉移到真實人形機器人上，無需任務特定微調。
近日，一項名為HoloMotion-1的技術報告在arXiv上發佈，介紹了一種革命性的人形運動基礎模型。該模型專為零樣本全身運動跟蹤設計，能夠在無需特定任務微調的情況下，直接應用於真實人形機器人。HoloMotion-1的核心創新在於其訓練數據策略。研究團隊構建了一個大規模混合運動語料庫，其中從現實視頻中重建的運動數據提供了豐富的運動多樣性，而經過精心策劃的動作捕捉數據和內部運動數據則確保了高保真監督和部署導向的覆蓋。這種數據策略使得模型能夠接觸到遠超傳統動作捕捉訓練所能涵蓋的行為、捕捉條件和運動風格，從而顯著提升其泛化能力。然而，從這種異構數據中學習也帶來了新的挑戰，包括重建噪聲、源域不匹配、運動質量參差不齊以及在大行為變化下進行時間建模的需求。為了應對這些問題，HoloMotion-1集成了一系列先進技術。它採用了大規模容量時間建模能力，並設計了一種稀疏激活的混合專家Transformer架構，結合KV緩存推理，實現對機器人運動的實時控制。此外，序列級訓練策略優化了長運動序列的學習效率。在多個未見過的運動基準測試中，HoloMotion-1展現出強大的魯棒性，其跟蹤精度顯著優於以往方法。更值得關注的是，該模型無需針對特定任務進行微調，即可直接部署到真實人形機器人上，實現了從仿真到現實的無縫遷移。這一成果為人形機器人運動控制領域開闢了新的可能性，有望推動機器人更自然地適應複雜動態環境。