EgoSteer：一种面向从第一人称视频实现可控灵巧操作的全栈系统
EgoSteer是一个全栈系统，通过从第一人称人类视频中大规模预训练视觉-语言-动作（VLA）模型，实现可控的灵巧操作。它集成了EgoSmith数据流水线（9.6K小时高质量数据，吞吐量提升9倍）、统一遥操作机器人平台和世界模型增强的VLA策略。实验表明，EgoSteer在40多种任务中稳定执行自然语言指令，具备故障恢复和泛化能力，并可通过少量样本适应复杂长时任务（如折叠纸箱），成功率超75%。系统、数据和模型已开源。
EgoSteer：从第一人称视频迈向可控灵巧操作的全栈系统
近年来，通用机器人策略的可操控性（steerability）被认为是关键能力，但灵巧手系统由于缺乏大规模、语言对齐且动作准确的演示数据，在这方面一直存在不足。为了突破这一瓶颈，由Yifan Zhong等16位研究人员组成的团队提出了EgoSteer，一个全栈系统，用于从第一人称人类视频中大规模预训练灵巧VLA模型，并实现数据高效的机器人后训练。
EgoSteer系统的核心组件包括：EgoSmith数据流水线、统一机器人遥操作平台和世界模型增强的VLA策略。EgoSmith能够从互联网上野生第一人称视频中筛选出9.6K小时的高质量预训练数据，其数据处理吞吐量比此前最先进的方法高出9倍，同时保持更高的准确度。统一的机器人平台支持高效的遥操作和人类在回路的校正，从而简化后训练过程。EgoSteer模型通过人类数据预训练获得语言引导的操作先验，然后通过机器人后训练和DAgger（数据集聚合）算法进行细化，从而将先验知识锚定到实际机器人上。
实验结果显示，EgoSteer在超过40种不同任务中稳健地执行自由形式的自然语言指令，展现了故障恢复能力、灵巧性和泛化能力。更重要的是，预训练模型能够通过少量样本快速适应复杂的长期任务，例如在两种不同的机器人平台上折叠纸箱，成功率均超过75%。研究团队已将整个系统、数据集和模型开源，供社区使用。
该论文于2026年6月21日提交至arXiv，项目网站为https://egosteer.github.io/。EgoSteer的工作为构建通用灵巧机器人策略提供了可行的技术路线，有望推动机器人操作在家庭和工业等实际场景中的广泛应用。