EgoSteer：一種面向從第一人稱影片實現可控靈巧操作的全棧系統
EgoSteer是一個全棧系統，透過從第一人稱人類影片中大規模預訓練視覺-語言-動作（VLA）模型，實現可控的靈巧操作。它整合了EgoSmith資料流水線（9.6K小時高質量資料，吞吐量提升9倍）、統一遙操作機器人平臺和世界模型增強的VLA策略。實驗表明，EgoSteer在40多種任務中穩定執行自然語言指令，具備故障恢復和泛化能力，並可透過少量樣本適應複雜長時任務（如摺疊紙箱），成功率超75%。系統、資料和模型已開源。
EgoSteer：從第一人稱影片邁向可控靈巧操作的全棧系統
近年來，通用機器人策略的可操控性（steerability）被認為是關鍵能力，但靈巧手系統由於缺乏大規模、語言對齊且動作準確的演示資料，在這方面一直存在不足。為了突破這一瓶頸，由Yifan Zhong等16位研究人員組成的團隊提出了EgoSteer，一個全棧系統，用於從第一人稱人類影片中大規模預訓練靈巧VLA模型，並實現資料高效的機器人後訓練。
EgoSteer系統的核心元件包括：EgoSmith資料流水線、統一機器人遙操作平臺和世界模型增強的VLA策略。EgoSmith能夠從網際網路上野生第一人稱影片中篩選出9.6K小時的高質量預訓練資料，其資料處理吞吐量比此前最先進的方法高出9倍，同時保持更高的準確度。統一的機器人平臺支援高效的遙操作和人類在迴路的校正，從而簡化後訓練過程。EgoSteer模型透過人類資料預訓練獲得語言引導的操作先驗，然後透過機器人後訓練和DAgger（資料集聚合）演算法進行細化，從而將先驗知識錨定到實際機器人上。
實驗結果顯示，EgoSteer在超過40種不同任務中穩健地執行自由形式的自然語言指令，展現了故障恢復能力、靈巧性和泛化能力。更重要的是，預訓練模型能夠透過少量樣本快速適應複雜的長期任務，例如在兩種不同的機器人平臺上摺疊紙箱，成功率均超過75%。研究團隊已將整個系統、資料集和模型開源，供社群使用。
該論文於2026年6月21日提交至arXiv，專案網站為https://egosteer.github.io/。EgoSteer的工作為構建通用靈巧機器人策略提供了可行的技術路線，有望推動機器人操作在家庭和工業等實際場景中的廣泛應用。