一演示中的世界：用于学习开放世界移动操作的合成数据引擎
WANDA是一种从单个演示生成合成数据的引擎，用于训练开放世界移动操作策略。它通过重建背景和交互轨迹、重新排列配置、应用纠正状态扩展以及在不同3D世界中合成轨迹，实现了长程鲁棒性、空间泛化和跨环境泛化，并支持跨具身数据生成。
学习开放世界移动操作策略需要海量数据以实现空间泛化、长程鲁棒性和场景泛化。当前主流的数据收集范式，如遥操作和UMI（通用操作接口），在规模化时面临巨大的人力成本和资源消耗。为了突破这一瓶颈，研究者致力于最大化每个演示数据的价值，通过可扩展的数据生成技术。
来自研究团队的Lingxiao Guo等人提出了WANDA（World mobile mANipulation from one Demonstration via synthetic dAta engine），这是一种创新的合成数据引擎，仅需一次真实演示即可生成大量训练数据。WANDA首先从源RGBD观测中重建背景高斯溅射和机器人-物体的交互轨迹，作为后续规划和渲染的“世界基板”。接着，它将接触丰富的机器人-物体交互片段重新排列成广泛的空间配置，并利用全身运动规划将它们连接成新的完整轨迹。
为了增强长程任务的鲁棒性，WANDA引入了纠正状态扩展（Corrective State Expansion），通过增加移动操作不同阶段中机器人和物体的状态多样性，使策略能够应对更复杂的长程任务。同时，为了实现跨环境泛化，系统会在从日常照片生成的各种3D世界中合成轨迹。最后，通过将渲染的机器人和物体网格与高斯溅射背景合成，生成逼真的观测图像。
在广泛的仿真和真实世界任务中，实验表明使用WANDA训练的策略仅从一个真实演示就能实现长程鲁棒性、广泛的空间泛化和跨环境泛化。更令人瞩目的是，WANDA天然支持跨具身数据生成，这通过在另一台具有不同形态的移动操作器上进行零样本部署得到了验证。这项研究为机器人学习中的数据稀缺问题提供了一种高效的解决方案，有望推动开放世界移动操作的实际应用。