COBALT：透過基於雲的智慧手機遠端操作實現機器人學習眾包
COBALT 是一個新的遠端操作平臺，利用智慧手機等常見裝置，實現機器人模仿學習所需的高質量示範資料的眾包收集。它支援併發多使用者控制，降低遠端操作成本，並實現低延遲。在九個國家的試點資料集表明，基於手機的遠端操作與專用硬體相當甚至更優。
COBALT 是一個創新的機器人學習平臺，旨在解決模仿學習中大規模高質量示範資料稀缺的關鍵瓶頸。該平臺透過基於雲的遠端操作，允許使用者使用智慧手機等常見裝置從世界任何地方控制機器人，從而眾包收集資料。COBALT 的核心創新在於其向量化環境架構，能夠在單個 GPU 上支援多達 8 個併發使用者進行即時遠端操作，端到端延遲低於 100 毫秒，大幅降低了傳統遠端操作的成本。此外，系統還支援 VR 頭顯、3D 滑鼠和鍵盤等多種裝置，並具備負載均衡和記憶體資料快取功能，確保控制的同步性和流暢性。研究團隊還演示了在 8 個 GPU 上支援 256 個模擬客戶端的穩定執行，突顯了系統跨硬體和單個伺服器內擴充套件的能力。
研究團隊進行了一項全面的使用者研究，結果表明，智慧手機遠端操作在資料收集速度和人體工程學方面優於或至少不遜於專用硬體。為了確保資料質量，COBALT 即時記錄一系列指標，如任務完成時間、軌跡平滑度等，自動過濾次優的示範。同時，結構化的使用者培訓課程顯著提高了資料收集的質量，表明培訓對於獲得高質量資料至關重要。基於這些洞察，研究團隊在九個國家內透過眾包方式收集了超過 7,500 個示範（總計 50 小時以上）的試點資料集。該資料集用於訓練最先進的模仿學習演算法，如行為克隆和擴散策略，驗證了 COBALT 平臺的有效性。這一成果為規模化機器人學習提供了新的可能性，有望推動機器人技術在更廣泛場景中的應用，如家庭服務、工業製造等。請訪問 cobalt-teleop.github.io 瞭解更多詳情。