跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

JAMB:用於雙臂操作的聯合動作-運動擴散策略

文章摘要

研究者提出JAMB,一種在共享Transformer中聯合去噪雙臂動作與未來3D點軌跡的擴散策略。通過將多模態表示統一到共享時空座標系,動作與運動假設可在去噪過程中相互修正。在RoboTwin 2.0的16項仿真任務中,JAMB平均成功率達83.4%,比最強基線高23.9個百分點;在三個真實機器人任務上,分別比僅動作策略和輔助幾何預測方法高50.0和21.2個百分點,並對雜亂場景和分佈外背景表現出更強泛化能力。

來源arXiv Robotics作者: Chuyang Xiao, Peilin Meng, David Held
JAMB:用於雙臂操作的聯合動作-運動擴散策略
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於 2026 年 9 月 21 日發佈了一篇機器人學領域的新論文,題為《JAMB: Joint Action-Motion Diffusion for Bimanual Manipulation》(聯合動作-運動擴散用於雙臂操作)。論文由 Chuyang Xiao 等三位作者完成,提交時間為 2026 年 9 月 21 日 19:11:38 UTC,論文編號 arXiv:2609.25322v1,屬於 cs.RO(機器人學)分類,DOI 為 https://doi.org/10.48550/arXiv.2609.25322(由 arXiv 分配,尚待 DataCite 註冊)。該文提供了 PDF 與實驗性 HTML 版本,並可獲取 TeX 源碼。

論文要解決的問題是:協調的雙臂操作非常困難,因為任意一條手臂的運動都會改變共享的三維場景,從而影響另一條手臂。然而,大多數擴散策略在生成動作時,並沒有顯式地建模這些未來的幾何後果;而帶有預測能力的變體,通常只把未來狀態用做輔助監督或固定的條件輸入。為彌補這一侷限,作者提出了 JAMB——一種擴散策略,它同時去噪雙臂動作和未來的三維點軌跡。通過讓動作假設與軌跡假設在同一個共享的 Transformer 中共同演化,兩者在整個去噪過程中可以相互提供信息並互相精化。作者還進一步將多模態表示統一到一個共享的時空座標系中,以便在聯合去噪期間進行幾何感知的交互。這一設計使動作生成與對場景未來幾何演變的預測不再是彼此分離的兩個環節,而是在同一個去噪過程中彼此耦合、彼此校正。

在實驗評估方面,作者在 RoboTwin 2.0 中的多種雙臂操作任務以及一台真實世界機器人上對 JAMB 進行了測試,並與僅使用動作的策略以及採用不同狀態表示和學習目標的其他未來預測方法進行了比較。在 16 個仿真任務上,JAMB 取得了平均 83.4% 的成功率,比最強基線高出 23.9 個百分點。在三個真實世界任務上,它分別比僅動作方法和輔助幾何預測方法高出 50.0 個百分點和 21.2 個百分點。除了這些性能提升之外,JAMB 在雜亂場景和分佈外背景上也表現出比所評估基線更強的泛化能力,這説明聯合建模動作與運動軌跡不僅提升了任務成功率,也增強了策略在環境變化下的魯棒性。

論文作者總結説,這些結果共同證明了其聯合動作-運動建模框架在協調雙臂操作中的有效性。項目的網站為 https://jam-bimanual.github.io/。需要注意的caveat是:該論文為 2026 年 9 月發佈的新提交(v1),尚屬預印本,尚未經過同行評審或正式發表,其 DOI 也仍處於待註冊狀態;因此上述實驗結果與結論仍應視為預印本階段的研究成果,後續可能需要獨立復現與更廣泛的驗證。

展開要點與分析

文章情報

工程師進階

要點

  • 在共享Transformer中聯合去噪雙臂動作和未來3D點軌跡,使二者相互促進。
  • 將多模態表示錨定在共享時空座標系,支持幾何感知的聯合去噪。
  • 在16項RoboTwin 2.0仿真任務上平均成功率83.4%,領先最強基線23.9個百分點。
  • 真實世界任務分別比僅動作和輔助幾何預測基線高50.0和21.2個百分點,泛化更好。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。