跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

小米機器人-1:基於超過10萬小時真實世界軌跡的視覺-語言-動作模型規模化

文章摘要

小米機器人團隊提出Xiaomi-Robotics-1,一個基礎視覺-語言-動作(VLA)模型,能夠遵循多樣語言指令在未見環境中執行移動操作任務,並通過少量微調數據高效適應新任務。模型採用兩階段訓練:預訓練階段利用超過10萬小時的真實操作軌跡(通過UMI設備收集)賦予模型廣泛的動作生成能力,並開發了可擴展的自動標註流水線;後訓練階段對齊機器人本體和人類指令。實驗證明模型具有強擴展性,在RoboCasa365上達到57.6%的成功率,在RoboDojo上取得20.07的平均分,均超越先前最佳水平。代碼和模型將開源。

來源arXiv Robotics作者: Xiaomi Robotics Team, Jun Guo, Piaopiao Jin, Jason Li, Peiyan Li, Yingyan Li, Futeng Liu, Wanli Peng, Optimus Qin, Yifei Su, Nan Sun, Qiao Sun, Runze Suo, Heyun Wang, Yunhong Wang, Rujie Wu, Caoyu Xia, Lina Zhang, Jack Zhao, Guoliang Chen, Wenlong Chen, Xinze He, Bin Li, Qing Li, Zhuorong Li, Heng Qu, Wenxuan Song, Diyun Xiang, Yifan Xie, Peiran Xu, Hangjun Ye, Wen Ye, Han Zhao, Quanyun Zhou
小米機器人-1:基於超過10萬小時真實世界軌跡的視覺-語言-動作模型規模化
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

小米機器人團隊近日發佈了Xiaomi-Robotics-1,這是一個基礎性的視覺-語言-動作(VLA)模型,旨在通過語言指令實現廣泛的移動操作任務。該模型的核心優勢在於其強大的泛化能力:在未見過的環境中無需額外訓練即可執行任務,同時能夠通過少量微調數據高效適應新的下游任務。

為了實現這一目標,研究團隊提出了一種兩階段訓練方案。第一階段是預訓練,模型在超過10萬小時的真實世界操作軌跡上訓練,這些軌跡通過UMI設備收集。關鍵創新在於開發了一種可擴展的自動標註流水線,該流水線能夠為軌跡片段自動生成描述場景狀態轉換的自然語言,從而為動作學習提供豐富且精確的條件信號。第二階段是後訓練,旨在將預訓練獲得的能力與機器人本體以及人類自然使用的命令式指令對齊。

實驗結果表明,Xiaomi-Robotics-1展現出強烈的擴展行為。隨着預訓練數據規模和模型大小的增加,模型性能持續提升,並且這種擴展行為直接遷移到後訓練階段——更強的預訓練模型在未見環境中帶來更好的零樣本真實機器人性能。此外,該模型作為一個強大的機器人基礎策略,在複雜靈巧任務上可以通過高效微調實現優異表現。

在多個仿真基準測試中,Xiaomi-Robotics-1均超越了現有最先進方法。在RoboCasa365上,它實現了57.6%的成功率,大幅超越此前最佳成績46.6%;在RoboDojo上,平均得分達到20.07,顯著高於之前的13.07。這些成果證明了該模型在機器人操作領域的巨大潛力。

小米機器人團隊表示,代碼和模型檢查點將陸續開源,以促進機器人社區的研究與開發。項目頁面已上線,提供更多詳細信息。

展開要點與分析

文章情報

工程師進階

要點

  • Xiaomi-Robotics-1是一個基礎VLA模型,能在未見環境中零樣本執行多種移動操作任務。
  • 預訓練使用超過10萬小時的真實世界操作軌跡,並採用自動標註流水線生成自然語言描述。
  • 模型在RoboCasa365和RoboDojo基準測試中達到最新最優結果。
  • 代碼和模型檢查點將公開發布。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。