跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

OmniContact:透過接觸流鏈式元技能實現通用人形機器人移動操作

文章摘要

本文提出OmniContact分層框架,核心是接觸流(CF)表示,由關鍵身體軌跡和時序二進位制接觸訊號組成。底層策略CF-Track學習統一技能庫,高層模組CF-Gen啟發式合成未來接觸流序列。在搬運箱子和推疊箱子任務中分別達到98.7%和76.5%成功率,顯著超越基線。框架支援與視覺語言模型整合,實現語義驅動的複雜操作。

來源arXiv Robotics作者: Runyi Yu, Xiaoyi Lin, Ji Ma, Yinhuai Wang, Koukou Luo, Jiahao Ji, Huayi Wang, Wenjia Wang, Runhan Zhang, Ping Tan, Ting Wu, Ruoli Dai, Qifeng Chen, Lei Han
OmniContact:透過接觸流鏈式元技能實現通用人形機器人移動操作
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

人形機器人執行長時間、多步驟的移動操作任務(如搬運箱子或堆疊物體)面臨雙重挑戰:不僅需要穩健地執行單個元技能,還必須能夠將這些技能無縫鏈式組合,並在失敗時自主恢復。現有方法要麼依賴顯式的人機互動表示(如接觸點、力感測器),雖精確但難以用於高層規劃;要麼使用隱式技能嵌入,雖緊湊但缺乏可解釋性,難以可靠組合。

針對這一難題,來自多所機構的研究人員提出了OmniContact框架,其核心創新在於“接觸流”(Contact Flow, CF)——一種緊湊的表示,由關鍵身體部位的運動軌跡和時序二進位制接觸訊號組成。接觸流作為高層規劃與底層執行之間的共享介面。底層策略CF-Track透過模仿學習或強化學習,從接觸流中學習一個統一的移動操作技能庫;高層模組CF-Gen則基於當前狀態和任務目標,啟發式地生成未來的接觸流序列。這種分層設計使得系統能夠穩健執行、自主失敗恢復,並靈活組合元技能。

為了支援訓練,研究團隊還收集了OmniContact資料集,這是一個基於動作捕捉的人機互動語料庫,專門用於人形機器人移動操作。實驗結果顯示,OmniContact在兩個標準任務中表現卓越:在“搬運箱子”任務中成功率達到98.7%,在“推疊箱子”任務中達到76.5%,相比之前的最佳基線,元技能執行成功率平均提升40.9%,技能鏈式成功率提升66.5%。

此外,OmniContact天然支援與視覺語言模型(VLM)整合。透過VLM進行語義任務分解,系統可理解高層指令(如“將散落的箱子排成心形”),並自動生成對應的接觸流序列,實現複雜的語義驅動操作行為。這一工作為通用人形機器人操作提供了全新思路,有望在家庭服務、工業製造和災難響應等領域發揮重要作用。

研究的突破在於,OmniContact透過接觸流這一緊湊表示,成功彌合了高層規劃與底層執行之間的鴻溝。與現有方法相比,它既保留了顯式表示的精確性,又具備隱式表示的靈活性,同時提供了可解釋性。未來的工作可以進一步擴充套件接觸流的概念,將其應用於更復雜的多機器人協作場景,或者結合更多的感知模態,以提升機器人在未知環境中的適應性。

展開要點與分析

文章情報

研究者進階

要點

  • 提出OmniContact框架,以接觸流為共享介面,連線高層規劃與底層執行
  • 底層CF-Track透過模仿或強化學習從接觸流中學習通用移動操作技能
  • 高層CF-Gen基於當前狀態和任務啟發式生成未來接觸流序列,支援自主恢復
  • 在標準任務中大幅領先基線,並可與VLM結合實現語義級任務分解

技術影響

可能影響合規要求、模型釋出節奏、資料治理和企業採購。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。