跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

透過自蒸餾未來影片表徵改進世界動作模型

文章摘要

該論文提出 FRED 框架,利用自蒸餾與時間上下文訓練世界動作模型(WAM),在單步去噪中從噪聲預測更高質量的未來影片表徵,從而提升動作預測效能。在真實機器人操作任務中,FRED 全面超越同類方法,長時序與零樣本域外泛化任務增益尤為顯著,並將人類影片到機器人技能遷移成功率從 19.4% 提升至 50.0%。

來源arXiv Robotics作者: Huiwon Jang, Suhyeok Jang, Hyeonmo Kang, Seungku Kim, Jinwoo Shin, Sihyun Yu
透過自蒸餾未來影片表徵改進世界動作模型
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於 2026 年 10 月 21 日(週三)18:33:13 UTC 收到標題為《Self-Distilling Future Video Representations for World Action Models》的論文投稿,編號 arXiv:2610.30320v1,主分類為機器人學(cs.RO),交叉分類包括計算機視覺與模式識別(cs.CV)。論文由 Huiwon Jang 領銜,共 6 位作者,提交者為 Suhyeok Jang,全文共 27 頁,並附有專案主頁連結;稿件大小為 2,967 KB,DOI 為 https://doi.org/10.48550/arXiv.2610.30320,由 DataCite 發放(登記待完成)。讀者可透過 PDF、實驗性 HTML 版本以及 TeX 原始碼獲取全文。

研究背景方面,論文指出世界動作模型(World Action Models,WAMs)已成為學習通用機器人策略的一條有前景的路徑,其核心思路是利用預訓練影片擴散模型所蘊含的豐富時空先驗。近期一類 WAM 為了提升推理效率,不再執行生成影片所需的昂貴迭代去噪,而是僅從單步去噪中提取中間的未來影片表示,並將一個獨立的動作解碼器建立在這些表示之上進行條件化。這種設計使動作預測直接依賴於未來表示的質量,換言之,單步去噪所產出的表示若不夠準確,動作解碼就會隨之退化,成為整條流水線的關鍵瓶頸。

針對這一問題,作者提出名為 FRED 的框架,全稱為 Future REpresentation learning via self-Distillation with temporal context,即“帶時間上下文的自蒸餾未來表示學習”。FRED 的目標是訓練 WAM 在單步去噪中從噪聲直接恢復出更高質量的未來影片表示。具體做法是採用自蒸餾:以從真實未來觀測中提取的表示作為目標,讓模型學習從噪聲預測這些未來表示。此外,作者進一步讓影片模型以歷史觀測為條件,為預測未來表示提供時間上下文,從而更準確地推斷後續畫面所應包含的資訊。

實驗部分,論文稱在多種真實世界操作場景中,FRED 一致優於同類的競爭 WAM 方法。尤其在零樣本環境泛化的設定下,FRED 在長時程任務與分佈外任務上取得顯著更大的提升。更引人注目的是人到機器人的技能遷移效果:對於未出現在機器人訓練資料中、僅在人類影片中演示過的任務,FRED 達到 50.0% 的任務成功率,而表現最好的競爭 WAM 僅為 19.4%。這一對比說明,藉助自蒸餾提升單步未來表示的質量,可以實質性地改善機器人對未見任務的泛化與從人類示範中學習的能力。需要注意的是,以上資料均來自論文作者的自我報告,尚待獨立復現與同行評議驗證;論文目前為 v1 預印本,後續版本可能有所修訂。

展開要點與分析

文章情報

工程師進階

要點

  • FRED 透過自蒸餾,以真實未來觀測提取的表徵為目標,提升單步去噪所得未來表徵的質量。
  • 引入歷史觀測作為時間上下文,幫助影片模型更準確地預測未來表徵。
  • 在多種真實操作場景中優於現有 WAM,長時序與零樣本域外泛化改進明顯。
  • 僅用人類影片示範、未見於機器人訓練資料的任務成功率達 50.0%,最佳對比方法為 19.4%。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。