在近期一篇arXiv立场论文中,作者Elis Karcini等九人指出,当前对通用机器人智能的讨论往往被简化为策略扩展问题:收集更多机器人演示、训练更大的视觉-语言-行动(VLA)模型,并期望获得更广泛的泛化能力。然而,他们认为这一框架是不完整的。真正的核心瓶颈不仅在于策略学习,还在于缺乏将世界上丰富的非结构化行为数据转化为有根据的机器人监督的机制。
论文指出,人类运动、互联网视频、模拟推演和交互式演示中蕴含着关于任务、目标、接触、失败和物理约束的丰富信息。然而,这些信息大多无法直接用于机器人策略,因为它们缺乏具身特定的动作标签、任务语义和奖励结构。例如,一段人类做家务的视频虽然展示了任务目标,但机器人无法直接从中学习到关节角度或末端执行器轨迹。
为了解决这一问题,作者识别了下一代机器人技术所需的四个缺失组件。第一是数据接口,用于自动标注非结构化行为。这包括从视频中提取动作片段、识别物体交互和推断任务阶段。第二是具身接口,用于将人类运动重定向到机器人动作。由于不同机器人的形态和自由度各异,需要机制将人类演示映射到目标机器人的运动空间。第三是世界模型接口,用于物理基础的3D推理。机器人需要理解场景的物理属性、物体间的接触力和运动动力学,而不仅仅是2D图像识别。第四是奖励接口,用于从视频和语言中推断任务进度和成功。这涉及从自然语言指令或视频演示中自动生成奖励函数,使机器人能够通过试错学习。
论文综述了机器人基础模型、跨具身数据集、从视频学习、世界模型和奖励建模方面的近期进展。作者指出,尽管这些领域各自取得了显著成果,但它们之间缺乏整合。例如,跨具身数据集提供了多样化的机器人数据,但缺乏自动标注机制;世界模型能够预测物理动态,但尚未与策略学习有效结合;奖励建模方法可以从视频中推断任务成功,但需要与数据接口协同工作。
基于此,作者提出了一个研究议程,旨在构建不仅能够从机器人演示中学习,还能从更广泛的物理世界中学习的机器人系统。这需要开发新的算法和架构,将非结构化数据转化为结构化的监督信号,并实现跨具身的知识迁移。论文强调,这一议程需要跨学科合作,结合计算机视觉、自然语言处理、机器人学和认知科学。
该论文发表于arXiv(编号2606.06556),属于机器人学(cs.RO)领域,提交于2026年6月4日。作者包括Elis Karcini等九人,其中Haitham Bou Ammar博士为提交者。论文全文可通过PDF或HTML格式获取,并附有DOI链接。该工作为机器人学习社区提供了一个反思当前范式并探索新方向的重要视角。