LeRobot v0.6.0:想象、评估、改进
LeRobot v0.6.0 引入了世界模型策略(VLA-JEPA、FastWAM、LingBot-VA),新一批VLA模型(GR00T N1.7、MolmoAct2等),奖励模型API(Robometer、TOPReward),六个新仿真基准,以及部署CLI、深度感知、数据集注解加速等功能,旨在闭环机器人学习循环。
LeRobot v0.6.0 正式发布,本次更新聚焦于闭环机器人学习循环:策略能够想象未来再行动,奖励模型判断成功与否,部署CLI将失败转化为训练数据,并新增六个仿真基准进行全方位评估。此外,还带来了深度感知、VLM驱动的数据集注解、自定义视频编码、云端训练和更精简的安装体验。
世界模型:想象未来的策略
VLA-JEPA 在紧凑型VLA(基于Qwen3-VL-2B)中训练JEPA世界模型,使其能在潜在空间中预测未来帧,推理时则丢弃世界模型,实现零额外成本的监督。LingBot-VA 则通过自回归视频-动作模型逐块预测未来视频和动作,并实时反馈真实观测,可在单块24-32GB GPU上运行。FastWAM 结合约5B视频专家和紧凑动作专家,训练时学习“做梦”,推理时直接去噪动作块。
VLA模型库持续扩充
GR00T N1.7 是NVIDIA的新一代跨具身基础模型,采用Cosmos-Reason2-2B+VLM和流匹配动作头,现已集成至LeRobot,支持一键加载和评估。MolmoAct2 由艾伦人工智能研究所开发,支持全参数和LoRA微调,可在SO-100/101机器人上零样本运行。EO-1、Multitask DiT 和 EVO1 等更多模型也加入支持,覆盖不同参数量和应用场景。
奖励模型:判断机器人的成功
统一奖励模型API(lerobot.rewards)包含四种模型:Robometer 是通用预训练模型,能对任意LeRobot数据集进行任务进度和成功评分,无需任务特定训练;TOPReward 则实现完全零样本,通过计算VLM对“True” token的对数概率来判定成功。两者均提供标注脚本,可生成逐帧进度曲线。
数据集:更快加载,更丰富数据
新版本支持自定义视频编码,可通过硬件编码器加速录制。深度相机支持端到端记录和训练,自动语言注解CLI(lerobot-annotate)能利用VLM为数据集生成时间戳标注。数据加载速度提升高达2倍,子集采样时间从分钟级降至毫秒级。
基准:单一CLI评估所有
新增六个仿真基准:LIBERO-plus(扰动测试)、RoboTwin 2.0(双臂操作)、RoboCasa365(365个厨房任务)、RoboCerebra(长时任务)、RoboMME(记忆测试)、VLABench(知识与推理)。所有基准均可通过 lerobot-eval CLI 运行,并提供Docker镜像。
训练与推理
部署新CLI lerobot-rollout 支持人类在环DAgger修正,FSDP训练可处理超显存模型,云端训练通过HF Jobs实现。代码库更精简,安装更快。
LeRobot v0.6.0 标志着机器人学习工具链的又一次重大进步,从想象、评估到改进,形成了一个完整的循环。