小米機器人團隊近日釋出了Xiaomi-Robotics-1,這是一個基礎性的視覺-語言-動作(VLA)模型,旨在透過語言指令實現廣泛的移動操作任務。該模型的核心優勢在於其強大的泛化能力:在未見過的環境中無需額外訓練即可執行任務,同時能夠透過少量微調資料高效適應新的下游任務。
為了實現這一目標,研究團隊提出了一種兩階段訓練方案。第一階段是預訓練,模型在超過10萬小時的真實世界操作軌跡上訓練,這些軌跡透過UMI裝置收集。關鍵創新在於開發了一種可擴充套件的自動標註流水線,該流水線能夠為軌跡片段自動生成描述場景狀態轉換的自然語言,從而為動作學習提供豐富且精確的條件訊號。第二階段是後訓練,旨在將預訓練獲得的能力與機器人本體以及人類自然使用的命令式指令對齊。
實驗結果表明,Xiaomi-Robotics-1展現出強烈的擴充套件行為。隨著預訓練資料規模和模型大小的增加,模型效能持續提升,並且這種擴充套件行為直接遷移到後訓練階段——更強的預訓練模型在未見環境中帶來更好的零樣本真實機器人效能。此外,該模型作為一個強大的機器人基礎策略,在複雜靈巧任務上可以透過高效微調實現優異表現。
在多個模擬基準測試中,Xiaomi-Robotics-1均超越了現有最先進方法。在RoboCasa365上,它實現了57.6%的成功率,大幅超越此前最佳成績46.6%;在RoboDojo上,平均得分達到20.07,顯著高於之前的13.07。這些成果證明了該模型在機器人操作領域的巨大潛力。
小米機器人團隊表示,程式碼和模型檢查點將陸續開源,以促進機器人社群的研究與開發。專案頁面已上線,提供更多詳細資訊。