跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

ReflectDrive-2:面向离散扩散驾驶的强化学习对齐自编辑方法

文章摘要

ReflectDrive-2是一种掩码离散扩散规划器,用于自动驾驶,将轨迹表示为离散令牌,通过并行掩码解码生成。它引入AutoEdit实现原地轨迹修正,并采用两阶段训练:结构感知扰动监督学习与强化学习微调。全展开RL显著提升编-修耦合性能,在NAVSIM上达到91.0 PDMS(仅相机输入),延迟31.8毫秒。

来源arXiv Robotics作者: Huimin Wang, Yue Wang, Bihao Cui, Pengxiang Li, Ben Lu, Mingqian Wang, Tong Wang, Chuan Tang, Teng Zhang, Kun Zhan
ReflectDrive-2:面向离散扩散驾驶的强化学习对齐自编辑方法
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

ReflectDrive-2是近期提出的一种用于自动驾驶的掩码离散扩散规划器,其创新之处在于将驾驶计划表示为离散轨迹令牌,并通过并行掩码解码高效生成。与传统的连续轨迹生成方法不同,离散化表示使得模型能够利用自回归或扩散模型的灵活性,同时通过掩码机制实现并行解码,大幅提升推理速度。该模型包含一个独立的动作专家模块,使得轨迹生成与动作执行分离,进一步增强了系统的模块化。

核心功能AutoEdit允许模型在不依赖额外精炼网络的情况下,对已生成的轨迹令牌进行原地修订。这一自编辑能力通过两阶段训练实现:首先,研究人员构建了沿纵向进度和横向航向的结构感知扰动,并监督模型恢复原始专家轨迹,从而让模型学会识别和纠正轨迹中的错误;随后,他们采用强化学习(RL)对完整的“决策-草稿-反思” rollout进行微调,将终端驾驶奖励分配给最终编辑后的轨迹,并通过全rollout转换传播策略梯度。

实验结果表明,全rollout RL对于耦合草稿和编辑阶段至关重要。仅使用监督训练时,推理阶段的AutoEdit最多将PDMS提升0.3;而引入RL后,提升幅度达到1.9。此外,团队还协同设计了一个高效的反思解码堆栈,结合共享前缀KV复用、交替步骤解码和融合的片上解掩码技术,使得整体流程在NVIDIA Thor平台上平均延迟仅为31.8毫秒。

在NAVSIM基准测试中,ReflectDrive-2在仅使用相机输入的情况下达到91.0 PDMS,在最佳6选1的oracle设置中达到94.8 PDMS,展现了出色的规划性能与实时推理能力。这些成果为离散扩散模型在自动驾驶中的实际应用提供了有力支持,也展示了强化学习在提升模型自校正能力方面的巨大潜力。

展开要点与分析

文章情报

工程师进阶

要点

  • 使用离散轨迹令牌和并行掩码解码表示和生成驾驶计划
  • AutoEdit无需辅助网络即可原地修正轨迹令牌
  • 两阶段训练:结构感知扰动监督学习 + 强化学习微调全展开
  • 在NAVSIM上取得91.0 PDMS(仅相机)和94.8 PDMS(最佳6选1),延迟31.8ms

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。