視覺語言動作模型（VLA）結合了視覺、語言和動作，是通用機器人策略的有力候選。然而，傳統的VLA適應新任務需要海量的特定任務遙操作數據，這限制了其實際應用。為了緩解這一數據瓶頸，研究者提出了“一次性演示條件VLA”（one-shot demo-conditioned VLA），即策略僅需對一個新任務的單一演示視頻進行條件化即可執行。儘管這種方法前景廣闊，但現有端到端模型在執行需要精確定位小目標區域的任務時往往力不從心。
來自韓國科學技術院（KAIST）等機構的研究團隊深入分析了這一侷限性，並提出了一種名為SeeTraceAct的創新框架。該框架的核心思想是通過可見性感知的未來末端執行器軌跡預測來鼓勵模型進行精確的空間定位。具體來説，SeeTraceAct在訓練過程中不僅要求模型預測動作，還要求其預測未來的末端執行器軌跡，並利用可見性信息（即哪些部分是可見的）來引導模型關注關鍵區域。這種設計使得模型能夠更好地理解演示視頻中的空間關係，從而在未知環境中實現更準確的泛化。
為了驗證SeeTraceAct的有效性並促進可重複研究，團隊同時推出了RoboCasa-DC數據集。該數據集基於RoboCasa構建，增加了與人類演示視頻配對的機器人任務數據，特別支持跨體演示場景——即機器人從人類演示中學習。在RoboCasa-DC的四個不同設置以及一個真實世界基準（使用Franka Panda機械臂）上的實驗結果表明，SeeTraceAct在所有場景下均取得了最佳成功率，其中真實世界的平均成功率相比基線提升了12.5個百分點。
這一成果表明，通過引入可見性感知的潛在軌跡規劃，可以在不增加數據採集成本的情況下顯著提升演示條件VLA的性能。SeeTraceAct為低成本、高效率的機器人技能獲取開闢了新路徑，尤其適用於那些難以進行大規模遙操作的任務。論文及代碼已公開在arXiv上，感興趣的讀者可以進一步查閲。