跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

EgoForesight:利用帶噪聲的自我中心動作有效擴充套件策略學習

文章摘要

EgoForesight 是一個視覺-語言-動作框架,透過降低不可靠動作標籤的影響、並利用演示結果作為補充監督,聯合學習機器人演示與自我中心影片,從而在帶噪聲的自我中心動作資料上實現更高效的規模化擴充套件。

來源arXiv Robotics作者: Chubin Zhang, Changyuan Wang, Yirui Wang, Ao Li, Shilin Ma, Yue Su, Cai Zhou, Xiuwei Xu, Tianle Zhang, Yansong Tang
EgoForesight:利用帶噪聲的自我中心動作有效擴充套件策略學習
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在擴充套件機器人策略學習規模時,最大的瓶頸之一往往不是模型容量,而是資料質量和監督訊號是否可靠。機器人演示能夠提供高質量的軌跡監督,但採整合本很高;相比之下,自我中心影片可以覆蓋更多工與環境,然而從影片中進行運動重建和重定向時會引入噪聲動作標籤,從而削弱監督的有效性。針對這一問題,Chubin Zhang 等十位作者提出了 EgoForesight,一個視覺-語言-動作框架,嘗試同時利用這兩類資料來源,並在帶噪聲的自我中心動作上實現有效擴充套件。

EgoForesight 的核心思路是雙管齊下:一方面減少不可靠動作標籤帶來的負面影響,另一方面把演示中呈現的結果作為補充監督訊號。為此,該框架引入了一個聯合視覺-動作流,將未來視覺表徵預測與動作生成耦合起來,使可靠性感知的動作學習與結果驅動的表徵遷移統一在同一套架構中。

在動作監督層面,EgoForesight 採用可靠性條件化損壞機制,根據資料來源的可靠性在不同噪聲水平之間分配動作監督,並透過可靠性加權迴歸來調節每個資料來源對訓練的貢獻。這樣可以避免噪聲標籤主導最佳化過程,同時保留高質量演示的指導作用。

僅有噪聲處理還不夠,作者進一步設計了特權未來表徵蒸餾。該方法使用一個指數移動平均教師模型觀察當前場景和乾淨的未來畫面,從場景變化中編碼與動作相關的結構;隨後,教師的深層表徵被用來監督接收損壞未來輸入的較早學生層,從而在噪聲動作標註之外提供結果驅動的結構資訊。

這些機制共同支撐了在帶噪聲自我中心動作資料上的有效擴充套件。在測試範圍內,EgoForesight 表現出比基線更陡的擴充套件斜率:當預訓練資料達到 30,000 小時時,真實世界開環動作 MSE 降低 20.5%,RoboCasa 少樣本成功率提升 8.1 個百分點。經過後訓練後,該方法在模擬和真實世界的靈巧操作任務中也取得了較強的絕對效能。該論文屬於機器人學與計算機視覺交叉方向,專案頁面已公開,論文以 arXiv:2610.31845 釋出。

展開要點與分析

文章情報

工程師進階

要點

  • EgoForesight 聯合視覺-動作流將未來視覺表徵預測與動作生成耦合在一起。
  • 可靠性條件化損壞與可靠性加權迴歸降低噪聲動作標籤的影響,特權未來表徵蒸餾則從演示結果中提取監督訊號。
  • 在 30,000 小時預訓練資料下,真實世界開環動作 MSE 降低 20.5%,RoboCasa 少樣本成功率提升 8.1 個百分點。
  • 經過後訓練,該方法在模擬與真實世界靈巧操作任務中均取得較強的絕對效能。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。