COBALT：通过基于云的智能手机远程操作实现机器人学习众包
COBALT 是一个新的远程操作平台，利用智能手机等常见设备，实现机器人模仿学习所需的高质量示范数据的众包收集。它支持并发多用户控制，降低远程操作成本，并实现低延迟。在九个国家的试点数据集表明，基于手机的远程操作与专用硬件相当甚至更优。
COBALT 是一个创新的机器人学习平台，旨在解决模仿学习中大规模高质量示范数据稀缺的关键瓶颈。该平台通过基于云的远程操作，允许用户使用智能手机等常见设备从世界任何地方控制机器人，从而众包收集数据。COBALT 的核心创新在于其向量化环境架构，能够在单个 GPU 上支持多达 8 个并发用户进行实时远程操作，端到端延迟低于 100 毫秒，大幅降低了传统远程操作的成本。此外，系统还支持 VR 头显、3D 鼠标和键盘等多种设备，并具备负载均衡和内存数据缓存功能，确保控制的同步性和流畅性。研究团队还演示了在 8 个 GPU 上支持 256 个模拟客户端的稳定运行，突显了系统跨硬件和单个服务器内扩展的能力。
研究团队进行了一项全面的用户研究，结果表明，智能手机远程操作在数据收集速度和人体工程学方面优于或至少不逊于专用硬件。为了确保数据质量，COBALT 实时记录一系列指标，如任务完成时间、轨迹平滑度等，自动过滤次优的示范。同时，结构化的用户培训课程显著提高了数据收集的质量，表明培训对于获得高质量数据至关重要。基于这些洞察，研究团队在九个国家内通过众包方式收集了超过 7,500 个示范（总计 50 小时以上）的试点数据集。该数据集用于训练最先进的模仿学习算法，如行为克隆和扩散策略，验证了 COBALT 平台的有效性。这一成果为规模化机器人学习提供了新的可能性，有望推动机器人技术在更广泛场景中的应用，如家庭服务、工业制造等。请访问 cobalt-teleop.github.io 了解更多详情。