COBALT：通過基於雲的智能手機遠程操作實現機器人學習眾包
COBALT 是一個新的遠程操作平台，利用智能手機等常見設備，實現機器人模仿學習所需的高質量示範數據的眾包收集。它支持併發多用户控制，降低遠程操作成本，並實現低延遲。在九個國家的試點數據集表明，基於手機的遠程操作與專用硬件相當甚至更優。
COBALT 是一個創新的機器人學習平台，旨在解決模仿學習中大規模高質量示範數據稀缺的關鍵瓶頸。該平台通過基於雲的遠程操作，允許用户使用智能手機等常見設備從世界任何地方控制機器人，從而眾包收集數據。COBALT 的核心創新在於其向量化環境架構，能夠在單個 GPU 上支持多達 8 個併發用户進行實時遠程操作，端到端延遲低於 100 毫秒，大幅降低了傳統遠程操作的成本。此外，系統還支持 VR 頭顯、3D 鼠標和鍵盤等多種設備，並具備負載均衡和內存數據緩存功能，確保控制的同步性和流暢性。研究團隊還演示了在 8 個 GPU 上支持 256 個模擬客户端的穩定運行，突顯了系統跨硬件和單個服務器內擴展的能力。
研究團隊進行了一項全面的用户研究，結果表明，智能手機遠程操作在數據收集速度和人體工程學方面優於或至少不遜於專用硬件。為了確保數據質量，COBALT 實時記錄一系列指標，如任務完成時間、軌跡平滑度等，自動過濾次優的示範。同時，結構化的用户培訓課程顯著提高了數據收集的質量，表明培訓對於獲得高質量數據至關重要。基於這些洞察，研究團隊在九個國家內通過眾包方式收集了超過 7,500 個示範（總計 50 小時以上）的試點數據集。該數據集用於訓練最先進的模仿學習算法，如行為克隆和擴散策略，驗證了 COBALT 平台的有效性。這一成果為規模化機器人學習提供了新的可能性，有望推動機器人技術在更廣泛場景中的應用，如家庭服務、工業製造等。請訪問 cobalt-teleop.github.io 瞭解更多詳情。