構建能夠在真實世界中進行泛化全身操控的人形機器人一直是機器人領域的根本挑戰。現有方法要麼依賴費力的任務特定獎勵工程，要麼僵化地重放參考動作導致泛化能力差，要麼依賴成本高昂的遙操作限制了可擴展性。雖然人類視頻捕捉了多樣的行為，但從中推斷出的運動先驗由於遮擋、接觸偽影和重定向誤差而不完美，無法直接用於策略學習。
針對這些問題，研究團隊提出了SUGAR，一種可擴展的數據驅動框架，能夠將多樣的人類視頻轉化為可部署的人形機器人全身操控技能。SUGAR無需任何任務特定的獎勵工程或推理時的參考運動條件，通過三個階段實現這一目標。首先，一個全自動流水線從非結構化人類視頻中提取運動交互先驗，包括人體-物體運動軌跡和接觸標籤。其次，一個特權物理精煉器使用統一的模仿獎勵和漸進狀態池，將不完美的先驗轉化為物理可行、高保真的技能。最後，精煉後的技能被蒸餾成一個分層自主策略，由命令生成器和命令跟蹤器組成。
研究團隊在仿真和真實人形硬件上評估了SUGAR在六個代表性全身操控任務中的表現，包括物體搬運、開門、推車等。該方法顯著優於參考跟蹤基線，且性能隨人類視頻數據量的增加而明顯提升。此外，SUGAR實現了零樣本真實世界遷移，具備可靠的閉環執行、自主故障恢復以及在外部擾動下的穩定長時程性能。項目頁面提供了更多細節和演示。