視覚言語動作モデル（VLA）は、汎用ロボットポリシーとして有望であるが、新しいタスクに適応させるには通常、コストのかかるタスク固有の遠隔操作データが必要である。この課題に対処するため、ワンショットデモ条件付きVLAが研究されている。これは、ロボットが未知のタスクの単一のデモビデオに基づいて行動できるようにするものである。しかし、既存のエンドツーエンド手法は、小さなターゲット領域を正確に位置特定する必要がある場合に失敗することが多い。
KAIST（韓国科学技術院）などの研究チームは、この問題を解決するためにSeeTraceActを提案した。このフレームワークは、未来のエンドエフェクタ軌跡の可視性認識予測を通じて、正確な空間的接地を促進する。具体的には、モデルは視覚的特徴に加えてロボットのエンドエフェクタ軌跡を予測し、可視性情報を用いて重点を置くべき領域を決定する。これにより、モデルはデモビデオ内の空間関係をよりよく理解し、未知の環境でより正確な汎化を達成する。
再現可能なクロスエンボディメント評価を可能にするため、研究チームはRoboCasa-DCデータセットも公開した。これはRoboCasaの拡張版であり、人間のデモビデオとペアになったタスクデータを含む。Franka Pandaアームを用いた実世界のベンチマーク実験では、SeeTraceActがベースラインを上回り、平均成功率を12.5ポイント向上させた。RoboCasa-DCの4つの設定すべてにおいても最良の成功率を達成した。
この研究は、可視性認識に基づく潜在軌跡計画を導入することで、デモ条件付きVLAの性能を大幅に向上できることを示している。SeeTraceActは、大規模な遠隔操作データを必要とせずにロボットが新しいスキルを迅速に学習するための低コストで効率的な手法を提供する。論文とコードはarXivで公開されている。