AI代理创建虚拟游乐场，帮助机器人获取关键训练数据

机器人走上街头，被惊讶的围观者包围，这越来越常见。但这些机器还远不是那种能在厨房或工厂里做各种事情的万能助手，其中一个主要瓶颈是数据。与人类相似，机器人通过经验学习最佳。问题在于，物理教授这些机器在不同环境中的许多动作既费力又耗时。

“一个自然的想法是使用模拟作为训练场。虽然过去几年中，驱动机器人模拟器的物理引擎取得了显著进展，但剩余的挑战之一是创建足够丰富和多样化的模拟内容，以捕捉现实世界的复杂性，”麻省理工学院电气工程与计算机科学、航空航天和机械工程教授、计算机科学与人工智能实验室（CSAIL）首席研究员Russ Tedrake说。

AI代理，即“思考”并完成明确任务的半自主程序，可以帮助产生机器人所需的逼真虚拟环境。麻省理工学院CSAIL和丰田研究所的研究人员开发的新系统“SceneSmith”使用三个代理来拼接3D场景的物体、墙壁和整体外观。其对室内空间（如餐厅、卧室和酒店）的重建比以前的系统更逼真和详细，帮助机器人练习技能并尝试不同的任务执行方式，然后再通电。反过来，工程师节省了实际测试的时间。

这些代理之所以理解日常场所的外观，是因为每个代理都调用了一个称为视觉语言模型（VLM）的多模态系统，特别是最先进的VLM GPT-5.2。它基于互联网上的大量文本和图像进行训练，以处理更多的视觉提示。这个先进的模型给了每个代理一种空间知识：首先，“设计者”代理生成场景的元素，然后“评论家”建议是否看起来逼真，最后，“指挥者”管理它们之间的来回，决定何时设计完成。一旦三个VLM完成创意协作，场景就可以直接加载到物理模拟软件中。

“我们发现该系统可以像人类设计师一样构建3D场景，”麻省理工学院EECS博士生、CSAIL研究员、论文第一作者Nicholas Pfaff说。“我们使用具有互联网规模先验的领先VLM制作了超过1300个场景，它做出了极其创意和多样的安排。我没有在提示中教系统这样做；它只是即兴发挥。”

得益于VLM代理，你可以请SceneSmith做一些事情，比如“生成一个带汽车、工作台、堆在角落的轮胎和靠墙梯子的车库”，并得到一个充满物体、机器人可以摆弄的虚拟游乐场。这些房间每场景装饰的物品数量多达先前方法的六倍，非常适合帮助机器人学习将杯子放入水槽、将水果放在盘子上、将易拉罐从架子移到桌子上等技能。

有了这么多丰富的虚拟环境，你可以在没有大量真实世界尝试和错误的情况下评估机器人是否准备就绪。研究人员在SceneSmith的数字世界中测试了不同的行动计划（也称为“策略”），生成了100个独特的空间。一个VLM代理评估每次尝试，发现机器人的计划有缺陷，机器经常在任务中失败。人类在超过99%的时间内同意模型的判断，这可以帮助机器人学家在机器人现实世界移动之前，在模拟中淘汰有缺陷的方法。

但这些虚拟世界到底有多逼真？这很难直接证明，因此研究人员从多个角度探讨了这个问题。最有说服力的测试：他们将一个预训练的机器人策略——一个主要基于真实世界数据训练、从未见过SceneSmith场景的AI控制器——放入生成的环境中。在一个测试中，用户告诉系统“从碗里拿苹果放到切菜板上”，模拟机器人照做了。如果场景与策略学习过的真实设置不相似，它根本就不会工作。

团队还通过远程操作引导机器人穿过虚拟空间，指导它们打开柜子、收起瓶子并在房间之间导航。他们的实验表明，这些环境在持续的物理交互下保持稳定，超越了视觉检查。

SceneSmith使用的每个代理在生成过程中都有明确的角色，分阶段充实场景。它们基本上创建了一个平面图并将其变为现实。

假设你想创建一个类似房子一楼场景。“设计者”VLM从一个通用布局开始，“评论家”审查，“指挥者”签字。代理对每个步骤重复此方法：添加家具，在墙壁然后天花板上放置物体，最后放入机器人可操作的物体。例如，VLM可以添加机器人可以打开和关闭的柜子——一个铰接物品，以前的基线不常包含。

在每个阶段，第二个VLM确保场景实用，例如建议移除客厅中的浴缸。第三个VLM确保生成高质量的场景，如果视觉效果不达标，甚至将设计过程倒退几步。一旦三个VLM完成创意协作，物理世界的机制通过模拟软件添加。

凭借对房间外观、物体放置位置和现实世界物理的深刻理解，SceneSmith相比先前方法具有明显优势。与“HSM”和“Holodeck”等场景生成基线相比，SceneSmith创建了包含更多物体的环境，包括私人办公室、陶器店，甚至一个Minecraft主题的游戏室。

SceneSmith在200多名用户中也是最受欢迎的。他们发现系统的视觉效果在超过90%的时间内更逼真。他们还观察到，一般来说，它比其他方法更严格地遵循提示。换句话说，它是最能生成用户真正想看到的虚拟游乐场的系统。

逼真性、多样性和丰富性都是SceneSmith的强项，即使在生成单个3D物体时也是如此。你可以提示它创建一个滚动服务车，它会生成一个2D图像，然后将其转化为具有质量、摩擦力和惯性等物理属性的详细模型。

然而，如此详细的过程确实带来了速度上的权衡。生成单个场景可能需要多个小时，因为代理创建并密切检查每个物体。如果有更多的计算能力，该系统的效率可能会有显著提高。CSAIL工程师还希望扩展到可变形物体（如海绵），只要有广泛的3D库可用。

“SceneSmith在这方面代表了重大进步，它提供了一个基于代理的框架，仅通过简单的文本提示即可生成可用于模拟的室内环境，”亚马逊机器人公司的应用科学家Jeremy Binagia（未参与此项研究）说。“它在多个方面推进了现有技术，包括推动了模拟环境中物体密度的极限，确保所有物体在物理上精确（而不仅仅是视觉上逼真），并创建不限于固定库的资产，因为它们可以通过文本到3D生成。”

Pfaff和Tedrake与Thomas Cohn（麻省理工学院博士生、CSAIL研究员）以及丰田研究所机器人专家Sergey Zakharov和Rick Cory合作撰写了论文。他们的工作部分得到了亚马逊、美国海军研究办公室、丰田研究所和美国国家科学基金会的支持。该团队在上周的国际机器学习会议上作为亮点展示了他们的发现。