EgoSteer：一種面向從第一人稱視頻實現可控靈巧操作的全棧系統
EgoSteer是一個全棧系統，通過從第一人稱人類視頻中大規模預訓練視覺-語言-動作（VLA）模型，實現可控的靈巧操作。它集成了EgoSmith數據流水線（9.6K小時高質量數據，吞吐量提升9倍）、統一遙操作機器人平台和世界模型增強的VLA策略。實驗表明，EgoSteer在40多種任務中穩定執行自然語言指令，具備故障恢復和泛化能力，並可通過少量樣本適應複雜長時任務（如摺疊紙箱），成功率超75%。系統、數據和模型已開源。
EgoSteer：從第一人稱視頻邁向可控靈巧操作的全棧系統
近年來，通用機器人策略的可操控性（steerability）被認為是關鍵能力，但靈巧手系統由於缺乏大規模、語言對齊且動作準確的演示數據，在這方面一直存在不足。為了突破這一瓶頸，由Yifan Zhong等16位研究人員組成的團隊提出了EgoSteer，一個全棧系統，用於從第一人稱人類視頻中大規模預訓練靈巧VLA模型，並實現數據高效的機器人後訓練。
EgoSteer系統的核心組件包括：EgoSmith數據流水線、統一機器人遙操作平台和世界模型增強的VLA策略。EgoSmith能夠從互聯網上野生第一人稱視頻中篩選出9.6K小時的高質量預訓練數據，其數據處理吞吐量比此前最先進的方法高出9倍，同時保持更高的準確度。統一的機器人平台支持高效的遙操作和人類在迴路的校正，從而簡化後訓練過程。EgoSteer模型通過人類數據預訓練獲得語言引導的操作先驗，然後通過機器人後訓練和DAgger（數據集聚合）算法進行細化，從而將先驗知識錨定到實際機器人上。
實驗結果顯示，EgoSteer在超過40種不同任務中穩健地執行自由形式的自然語言指令，展現了故障恢復能力、靈巧性和泛化能力。更重要的是，預訓練模型能夠通過少量樣本快速適應複雜的長期任務，例如在兩種不同的機器人平台上摺疊紙箱，成功率均超過75%。研究團隊已將整個系統、數據集和模型開源，供社區使用。
該論文於2026年6月21日提交至arXiv，項目網站為https://egosteer.github.io/。EgoSteer的工作為構建通用靈巧機器人策略提供了可行的技術路線，有望推動機器人操作在家庭和工業等實際場景中的廣泛應用。