一演示中的世界：用於學習開放世界移動操作的合成數據引擎
WANDA是一種從單個演示生成合成數據的引擎，用於訓練開放世界移動操作策略。它通過重建背景和交互軌跡、重新排列配置、應用糾正狀態擴展以及在不同3D世界中合成軌跡，實現了長程魯棒性、空間泛化和跨環境泛化，並支持跨具身數據生成。
學習開放世界移動操作策略需要海量數據以實現空間泛化、長程魯棒性和場景泛化。當前主流的數據收集範式，如遙操作和UMI（通用操作接口），在規模化時面臨巨大的人力成本和資源消耗。為了突破這一瓶頸，研究者致力於最大化每個演示數據的價值，通過可擴展的數據生成技術。
來自研究團隊的Lingxiao Guo等人提出了WANDA（World mobile mANipulation from one Demonstration via synthetic dAta engine），這是一種創新的合成數據引擎，僅需一次真實演示即可生成大量訓練數據。WANDA首先從源RGBD觀測中重建背景高斯濺射和機器人-物體的交互軌跡，作為後續規劃和渲染的“世界基板”。接着，它將接觸豐富的機器人-物體交互片段重新排列成廣泛的空間配置，並利用全身運動規劃將它們連接成新的完整軌跡。
為了增強長程任務的魯棒性，WANDA引入了糾正狀態擴展（Corrective State Expansion），通過增加移動操作不同階段中機器人和物體的狀態多樣性，使策略能夠應對更復雜的長程任務。同時，為了實現跨環境泛化，系統會在從日常照片生成的各種3D世界中合成軌跡。最後，通過將渲染的機器人和物體網格與高斯濺射背景合成，生成逼真的觀測圖像。
在廣泛的仿真和真實世界任務中，實驗表明使用WANDA訓練的策略僅從一個真實演示就能實現長程魯棒性、廣泛的空間泛化和跨環境泛化。更令人矚目的是，WANDA天然支持跨具身數據生成，這通過在另一台具有不同形態的移動操作器上進行零樣本部署得到了驗證。這項研究為機器人學習中的數據稀缺問題提供了一種高效的解決方案，有望推動開放世界移動操作的實際應用。