跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

身體移動之前:學習面向語言條件人形控制的預期關節意圖

文章摘要

本文提出DAJI(動力學對齊的關節意圖)框架,一種分層架構,學習語言生成與閉環控制之間的預期關節意圖介面。DAJI-Act透過學生驅動軌跡將未來感知教師蒸餾為可部署的擴散動作策略,而DAJI-Flow從語言和意圖歷史自迴歸生成未來意圖塊。實驗表明,DAJI在預期潛在學習、單指令生成和流式指令跟隨中表現優異,在HumanML3D風格生成上達到94.42%的軌跡成功率,在BABEL上達到0.152的子序列FID。

來源arXiv Robotics作者: Haozhe Jia, Honglei Jin, Yuan Zhang, Youcheng Fan, Shaofeng Liang, Lei Wang, Shuxu Jin, Kuimou Yu, Zinuo Zhang, Jianfei Song, Wenshuo Chen, Yutao Yue
身體移動之前:學習面向語言條件人形控制的預期關節意圖
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在語言條件人形機器人控制領域,自然語言提供了一種直觀的互動介面,但全身控制的流式執行需要既能立即執行又能預測未來物理狀態變化的表示。現有方法通常生成運動學參考,由底層追蹤器被動修正,或使用隱含動作策略,但輸出無法明確編碼即將發生的接觸變化、支撐轉移和平衡準備。為解決這一挑戰,來自上海交通大學等機構的研究人員提出了DAJI(動力學對齊的關節意圖)框架,這是一種分層架構,旨在學習一個預期性的關節意圖介面,連線語言生成與閉環控制。

DAJI框架包含兩個核心元件:DAJI-Act和DAJI-Flow。DAJI-Act透過學生驅動的軌跡擴充套件,將具備未來感知能力的教師模型蒸餾為一個可部署的擴散動作策略,使得機器人能夠在當前動作中融入對未來狀態的預測。而DAJI-Flow則採用自迴歸方式,從當前語言指令和意圖歷史中生成未來的意圖塊,從而實現對連續指令的流式跟隨。這種設計允許機器人在執行當前動作的同時,提前規劃後續的關節狀態,確保動作的連貫性與穩定性。

研究團隊在多個標準基準上對DAJI進行了評估。實驗結果顯示,在HumanML3D風格的人體運動生成任務上,DAJI達到了94.42%的軌跡成功率,顯著優於基線方法。在BABEL動作識別資料集上,DAJI的子序列FID分數低至0.152,表明生成的運動序列在真實感和多樣性方面接近真實資料。此外,DAJI在單指令生成和流式指令跟隨任務中也展現了強大的效能,證明了其在預期潛在學習方面的有效性。

這項工作的主要貢獻在於提出了一種顯式編碼未來物理狀態變化的控制表示,減少了底層追蹤器的修正負擔,併為語言引導的人形機器人全身控制提供了新的思路。未來的研究方向可能包括將DAJI擴充套件到更復雜的互動場景,以及結合更豐富的感測器反饋以增強魯棒性。該研究由Haozhe Jia等人於2026年5月提交至arXiv,屬於機器人學與計算機視覺交叉領域。

展開要點與分析

文章情報

研究者進階

要點

  • DAJI框架透過學習預期關節意圖介面,彌合語言生成與閉環控制之間的鴻溝。
  • DAJI-Act利用學生驅動軌跡將未來感知教師蒸餾為可部署的擴散策略。
  • DAJI-Flow自迴歸地從語言和意圖歷史生成未來意圖塊。
  • 在HumanML3D和BABEL基準上,DAJI實現了高軌跡成功率和低FID分數,展示了高效的語言引導人形控制。

技術影響

可能影響合規要求、模型釋出節奏、資料治理和企業採購。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。