在具身智能領域,視覺-語言-動作(VLA)模型的大規模預訓練已成為推動可泛化機器人控制進步的核心驅動力。然而,當前主流方法嚴重依賴於大量機器人演示數據,這些數據的採集成本高昂且與特定機器人平台緊密耦合,極大地限制了模型向新環境和新任務的泛化能力。與此形成鮮明對比的是,人類視頻數據在互聯網上浩如煙海,涵蓋了日常操作、工具使用、物體操控等各類交互場景,藴含着豐富的語義和物理信息。然而,人類與機器人在身體形態上的差異(例如手部自由度、傳感器配置、運動學約束)以及視頻中普遍缺乏精確的任務對齊標註,使得直接將這些數據用於訓練VLA模型面臨嚴峻挑戰。
為系統解決上述問題,Zhiyuan Feng等15位研究者聯合撰寫了一篇綜述論文,已被IJCAI 2026 Survey Track接收。該綜述首次從統一視角梳理了將人類視頻轉化為VLA模型有效知識的系統方法。根據從視頻中提取動作相關信息的方式,現有工作被劃分為四大類:(i) 潛在動作表示(Latent Action Representations)——通過編碼視頻幀間的像素或特徵變化來表徵連續動作,常見方法包括學習隱空間中的動作嵌入、利用視頻幀差或光流等;(ii) 預測世界模型(Predictive World Models)——通過學習環境動力學,預測未來幀序列,從而隱含地反映動作的影響,這類方法常基於視頻預測或逆動態模型;(iii) 顯式2D監督(Explicit 2D Supervision)——直接從圖像平面提取高層線索,如關鍵點軌跡、運動向量、接觸區域等,作為監督信號;(iv) 顯式3D重建(Explicit 3D Reconstruction)——通過重建場景的三維幾何或人體運動,將動作映射到三維空間,再投影到機器人執行空間。這種分類不僅揭示了不同方法的技術路徑,也為後續研究提供了清晰的座標參考。
除了技術分類,該綜述還深入剖析了該領域面臨的三大開放性挑戰。第一,視頻結構化:如何將非結構化的、長度不一的互聯網視頻自動分割並組織成適合模型訓練的結構化片段,同時確保動作的語義完整性和時間連續性。第二,跨實體動作接地:由於人類與機器人在運動學、動力學和感知能力上存在根本差異,從視頻中提取的動作監督信號必須有效映射到機器人座標系中,同時還需要處理不同視角帶來的空間歧義。第三,評價協議設計:現有基準大多在受限環境中評測,無法準確反映模型在真實部署場景中的表現,需要開發更貼近實際、能衡量泛化能力和遷移效率的新型評估體系。
該綜述還提供了一個經過精心整理的論文和資源列表,並開源了相關代碼和鏈接,方便研究者快速入門和追蹤前沿進展。總體而言,本綜述為利用海量人類視頻數據訓練通用機器人模型提供了堅實的理論框架和實用指南,有望大幅降低對昂貴機器人演示數據的依賴,加速具身智能的落地應用。