跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

ReflectDrive-2:面向離散擴散駕駛的強化學習對齊自編輯方法

文章摘要

ReflectDrive-2是一種掩碼離散擴散規劃器,用於自動駕駛,將軌跡表示為離散令牌,通過並行掩碼解碼生成。它引入AutoEdit實現原地軌跡修正,並採用兩階段訓練:結構感知擾動監督學習與強化學習微調。全展開RL顯著提升編-修耦合性能,在NAVSIM上達到91.0 PDMS(僅相機輸入),延遲31.8毫秒。

來源arXiv Robotics作者: Huimin Wang, Yue Wang, Bihao Cui, Pengxiang Li, Ben Lu, Mingqian Wang, Tong Wang, Chuan Tang, Teng Zhang, Kun Zhan
ReflectDrive-2:面向離散擴散駕駛的強化學習對齊自編輯方法
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

ReflectDrive-2是近期提出的一種用於自動駕駛的掩碼離散擴散規劃器,其創新之處在於將駕駛計劃表示為離散軌跡令牌,並通過並行掩碼解碼高效生成。與傳統的連續軌跡生成方法不同,離散化表示使得模型能夠利用自迴歸或擴散模型的靈活性,同時通過掩碼機制實現並行解碼,大幅提升推理速度。該模型包含一個獨立的動作專家模塊,使得軌跡生成與動作執行分離,進一步增強了系統的模塊化。

核心功能AutoEdit允許模型在不依賴額外精煉網絡的情況下,對已生成的軌跡令牌進行原地修訂。這一自編輯能力通過兩階段訓練實現:首先,研究人員構建了沿縱向進度和橫向航向的結構感知擾動,並監督模型恢復原始專家軌跡,從而讓模型學會識別和糾正軌跡中的錯誤;隨後,他們採用強化學習(RL)對完整的“決策-草稿-反思” rollout進行微調,將終端駕駛獎勵分配給最終編輯後的軌跡,並通過全rollout轉換傳播策略梯度。

實驗結果表明,全rollout RL對於耦合草稿和編輯階段至關重要。僅使用監督訓練時,推理階段的AutoEdit最多將PDMS提升0.3;而引入RL後,提升幅度達到1.9。此外,團隊還協同設計了一個高效的反思解碼堆棧,結合共享前綴KV複用、交替步驟解碼和融合的片上解掩碼技術,使得整體流程在NVIDIA Thor平台上平均延遲僅為31.8毫秒。

在NAVSIM基準測試中,ReflectDrive-2在僅使用相機輸入的情況下達到91.0 PDMS,在最佳6選1的oracle設置中達到94.8 PDMS,展現了出色的規劃性能與實時推理能力。這些成果為離散擴散模型在自動駕駛中的實際應用提供了有力支持,也展示了強化學習在提升模型自校正能力方面的巨大潛力。

展開要點與分析

文章情報

工程師進階

要點

  • 使用離散軌跡令牌和並行掩碼解碼錶示和生成駕駛計劃
  • AutoEdit無需輔助網絡即可原地修正軌跡令牌
  • 兩階段訓練:結構感知擾動監督學習 + 強化學習微調全展開
  • 在NAVSIM上取得91.0 PDMS(僅相機)和94.8 PDMS(最佳6選1),延遲31.8ms

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。