人形機器人執行長時間、多步驟的移動操作任務(如搬運箱子或堆疊物體)面臨雙重挑戰:不僅需要穩健地執行單個元技能,還必須能夠將這些技能無縫鏈式組合,並在失敗時自主恢復。現有方法要麼依賴顯式的人機互動表示(如接觸點、力感測器),雖精確但難以用於高層規劃;要麼使用隱式技能嵌入,雖緊湊但缺乏可解釋性,難以可靠組合。
針對這一難題,來自多所機構的研究人員提出了OmniContact框架,其核心創新在於“接觸流”(Contact Flow, CF)——一種緊湊的表示,由關鍵身體部位的運動軌跡和時序二進位制接觸訊號組成。接觸流作為高層規劃與底層執行之間的共享介面。底層策略CF-Track透過模仿學習或強化學習,從接觸流中學習一個統一的移動操作技能庫;高層模組CF-Gen則基於當前狀態和任務目標,啟發式地生成未來的接觸流序列。這種分層設計使得系統能夠穩健執行、自主失敗恢復,並靈活組合元技能。
為了支援訓練,研究團隊還收集了OmniContact資料集,這是一個基於動作捕捉的人機互動語料庫,專門用於人形機器人移動操作。實驗結果顯示,OmniContact在兩個標準任務中表現卓越:在“搬運箱子”任務中成功率達到98.7%,在“推疊箱子”任務中達到76.5%,相比之前的最佳基線,元技能執行成功率平均提升40.9%,技能鏈式成功率提升66.5%。
此外,OmniContact天然支援與視覺語言模型(VLM)整合。透過VLM進行語義任務分解,系統可理解高層指令(如“將散落的箱子排成心形”),並自動生成對應的接觸流序列,實現複雜的語義驅動操作行為。這一工作為通用人形機器人操作提供了全新思路,有望在家庭服務、工業製造和災難響應等領域發揮重要作用。
研究的突破在於,OmniContact透過接觸流這一緊湊表示,成功彌合了高層規劃與底層執行之間的鴻溝。與現有方法相比,它既保留了顯式表示的精確性,又具備隱式表示的靈活性,同時提供了可解釋性。未來的工作可以進一步擴充套件接觸流的概念,將其應用於更復雜的多機器人協作場景,或者結合更多的感知模態,以提升機器人在未知環境中的適應性。