一演示中的世界：用於學習開放世界移動操作的合成資料引擎
WANDA是一種從單個演示生成合成資料的引擎，用於訓練開放世界移動操作策略。它透過重建背景和互動軌跡、重新排列配置、應用糾正狀態擴充套件以及在不同3D世界中合成軌跡，實現了長程魯棒性、空間泛化和跨環境泛化，並支援跨具身資料生成。
學習開放世界移動操作策略需要海量資料以實現空間泛化、長程魯棒性和場景泛化。當前主流的資料收集正規化，如遙操作和UMI（通用操作介面），在規模化時面臨巨大的人力成本和資源消耗。為了突破這一瓶頸，研究者致力於最大化每個演示資料的價值，透過可擴充套件的資料生成技術。
來自研究團隊的Lingxiao Guo等人提出了WANDA（World mobile mANipulation from one Demonstration via synthetic dAta engine），這是一種創新的合成資料引擎，僅需一次真實演示即可生成大量訓練資料。WANDA首先從源RGBD觀測中重建背景高斯濺射和機器人-物體的互動軌跡，作為後續規劃和渲染的“世界基板”。接著，它將接觸豐富的機器人-物體互動片段重新排列成廣泛的空間配置，並利用全身運動規劃將它們連線成新的完整軌跡。
為了增強長程任務的魯棒性，WANDA引入了糾正狀態擴充套件（Corrective State Expansion），透過增加移動操作不同階段中機器人和物體的狀態多樣性，使策略能夠應對更復雜的長程任務。同時，為了實現跨環境泛化，系統會在從日常照片生成的各種3D世界中合成軌跡。最後，透過將渲染的機器人和物體網格與高斯濺射背景合成，生成逼真的觀測影像。
在廣泛的模擬和真實世界任務中，實驗表明使用WANDA訓練的策略僅從一個真實演示就能實現長程魯棒性、廣泛的空間泛化和跨環境泛化。更令人矚目的是，WANDA天然支援跨具身資料生成，這透過在另一臺具有不同形態的移動操作器上進行零樣本部署得到了驗證。這項研究為機器人學習中的資料稀缺問題提供了一種高效的解決方案，有望推動開放世界移動操作的實際應用。