近年、汎用的な身体化制御の進展は、視覚-言語-行動（VLA）モデルの大規模事前学習によって推進されてきた。しかし、既存のアプローチのほとんどは、ロボットのデモンストレーションデータの大規模なコレクションに依存しており、それらは収集にコストがかかり、特定のロボットプラットフォームに強く結びついている。対照的に、人間の動画データは豊富で、多様な意味的・物理的手がかりを含む豊かなインタラクションを捉えている。しかし、身体性の違いやタスクに関連したアノテーションが頻繁に欠如しているため、それらをVLAモデルに直接利用することは困難である。この課題に対処するため、Zhiyuan Fengら15名の著者によるサーベイ論文がIJCAI 2026 Survey Trackに採択された。本サーベイは、人間の動画をVLAモデルの効果的な知識に変換する方法を統一的な視点で整理している。
著者らは、抽出する行動関連情報に基づいて既存手法を4つのクラスに分類している：(i) フレーム間変化を符号化する潜在行動表現、(ii) 将来フレームを予測する世界モデル、(iii) 画像平面上の手がかりを抽出する明示的2D監督、(iv) 幾何学や動作を復元する明示的3D再構成。各カテゴリには具体的な手法例が含まれ、例えば潜在行動表現ではビデオフレーム間の差分を利用した自己教師あり学習、世界モデルではビデオ予測による行動学習、2D監督ではキーポイント軌跡の利用、3D再構成では人間の手と物体の接触を3Dで再現する手法などが挙げられる。
さらに、本サーベイは以下の3つの重要な未解決課題を指摘している。第一に、非構造化動画を訓練可能なエピソードに構造化すること。第二に、動画由来の監督信号を身体性や視点の異種性を考慮してロボット実行可能な行動に接地すること。第三に、現実の展開性能と転送効率をより良く予測する評価プロトコルを設計すること。これらの課題は、今後の研究方向性を示すものとして重要である。
論文はまた、関連する論文とリソースの厳選リストをGitHubで公開しており、研究者が容易にアクセスできるようになっている。本サーベイは、人間の動画データを活用したロボット学習の分野における包括的なガイドを提供し、高コストなロボットデモへの依存を低減する可能性を秘めている。