在擴展機器人策略學習規模時,最大的瓶頸之一往往不是模型容量,而是數據質量和監督信號是否可靠。機器人演示能夠提供高質量的軌跡監督,但採集成本很高;相比之下,自我中心視頻可以覆蓋更多任務與環境,然而從視頻中進行運動重建和重定向時會引入噪聲動作標籤,從而削弱監督的有效性。針對這一問題,Chubin Zhang 等十位作者提出了 EgoForesight,一個視覺-語言-動作框架,嘗試同時利用這兩類數據源,並在帶噪聲的自我中心動作上實現有效擴展。
EgoForesight 的核心思路是雙管齊下:一方面減少不可靠動作標籤帶來的負面影響,另一方面把演示中呈現的結果作為補充監督信號。為此,該框架引入了一個聯合視覺-動作流,將未來視覺表徵預測與動作生成耦合起來,使可靠性感知的動作學習與結果驅動的表徵遷移統一在同一套架構中。
在動作監督層面,EgoForesight 採用可靠性條件化損壞機制,根據數據來源的可靠性在不同噪聲水平之間分配動作監督,並通過可靠性加權迴歸來調節每個數據源對訓練的貢獻。這樣可以避免噪聲標籤主導優化過程,同時保留高質量演示的指導作用。
僅有噪聲處理還不夠,作者進一步設計了特權未來表徵蒸餾。該方法使用一個指數移動平均教師模型觀察當前場景和乾淨的未來畫面,從場景變化中編碼與動作相關的結構;隨後,教師的深層表徵被用來監督接收損壞未來輸入的較早學生層,從而在噪聲動作標註之外提供結果驅動的結構信息。
這些機制共同支撐了在帶噪聲自我中心動作數據上的有效擴展。在測試範圍內,EgoForesight 表現出比基線更陡的擴展斜率:當預訓練數據達到 30,000 小時時,真實世界開環動作 MSE 降低 20.5%,RoboCasa 少樣本成功率提升 8.1 個百分點。經過後訓練後,該方法在仿真和真實世界的靈巧操作任務中也取得了較強的絕對性能。該論文屬於機器人學與計算機視覺交叉方向,項目頁面已公開,論文以 arXiv:2610.31845 發佈。