NVIDIA与Hugging Face为开放机器人社区带来新模型和框架至LeRobot

开源AI已经展示了当模型、数据和工具被共享时，开发者能够以多快的速度进行创新。机器人技术同样拥有这样的机会，但物理AI开发的进步仍然可能受到昂贵且分散的资源的阻碍，包括大型数据集、机器人基础模型、仿真、计算和验证工具。

NVIDIA和Hugging Face正在合作，将NVIDIA Isaac GR00T 1.7（一个开放的、推理视觉语言动作（VLA）模型，适用于人形机器人）和NVIDIA Isaac Teleop框架引入LeRobot——Hugging Face的开源机器人库。此外，计划很快引入NVIDIA Cosmos 3，这是一个用于物理AI的前沿模型。这些整合共同为开发者提供了一条更易访问和标准化的端到端机器人开发路径，同时推动开放机器人社区的创新和协作。

Hugging Face联合创始人兼首席科学官Thomas Wolf表示：“开源是将先进研究转化为人们可以学习、适应和构建的东西的方式。随着NVIDIA Isaac GR00T 1.7和Isaac TeleOp今天加入LeRobot，机器人开发者可以公开使用共享的模型、数据和工作流来训练和评估机器人。而随着NVIDIA Cosmos 3的计划加入，社区将有一条路径将前沿世界模型引入同一协作循环。”

Hugging Face LeRobot是一个开源机器人库，用于训练、运行和共享机器人数据集、模型、策略和工作流。NVIDIA与Hugging Face的持续合作将NVIDIA的300万机器人开发者与Hugging Face的1600万AI构建者连接起来，通过开放工作流扩展对前沿物理AI工具的访问。

将NVIDIA物理AI能力引入LeRobot为开发者提供了一种通用的方式来收集和标准化数据、训练和微调机器人基础模型、评估性能并通过开放工作流部署模型。整合包括：

• NVIDIA Isaac Teleop：一个用于机器人数据收集的开源框架，帮助开发者从外部设备捕获高质量的人类演示，使用标准化的可互操作格式，然后扩展并与社区共享数据集，全部直接在LeRobot中完成。
• NVIDIA Isaac GR00T 1.7：首个开放且商业可行的机器人基础模型，通过LeRobot工作流使后训练和部署模型更容易，帮助开发者将GR00T适应新的机器人形态和任务，并具有基准性能。
• NVIDIA Cosmos 3：一个用于物理AI的前沿世界基础模型，即将加入LeRobot，将帮助开发者生成和增强机器人数据，模拟场景，并在真实世界数据有限或过于昂贵时支持策略开发。

这些整合建立在已连接到LeRobot的更广泛的NVIDIA资源集之上，以支持完整的机器人开发循环，包括：

• 最大的开源物理AI数据集，下载量超过1500万次，包含超过35万个真实和模拟轨迹以及5700万次抓取，帮助开发者启动机器人工作流。
• 基于NVIDIA Isaac Sim和Isaac Lab的仿真框架，帮助开发者设置环境、生成机器人数据、测试策略并在迁移到物理机器人之前验证行为。
• LeRobot环境中心中的NVIDIA Isaac Lab-Arena，使开发者能够快速原型化复杂的仿真环境，在LeRobot EnvHub中注册，并在LeRobot生态系统中无缝使用它们来训练和评估通用机器人策略，如GR00T、Pi和SmolVLA。
• NVIDIA Jetson Thor与LeRobot的Reachy 2集成，支持在开源人形机器人上部署VLA模型。

了解更多关于如何使用Isaac Teleop、Isaac GR00T 1.7和Isaac Lab-Arena与LeRobot进行端到端人形开发，并探索详细的LeRobot整合工作流。