本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

ReflectDrive-2:強化学習に基づく自己編集型離散拡散運転計画

記事の要約

ReflectDrive-2は、自動運転のためのマスク離散拡散プランナーであり、計画を離散軌跡トークンとして表現し、並列マスクデコードで生成する。AutoEditによりその場での軌跡修正が可能で、構造認識摂動による教師あり学習と強化学習による2段階訓練を採用。全ロールアウトRLが草稿編集の結合を大幅に向上させ、NAVSIMで91.0 PDMS(カメラのみ)、レイテンシ31.8ミリ秒を達成。

ソースarXiv Robotics著者: Huimin Wang, Yue Wang, Bihao Cui, Pengxiang Li, Ben Lu, Mingqian Wang, Tong Wang, Chuan Tang, Teng Zhang, Kun Zhan
ReflectDrive-2:強化学習に基づく自己編集型離散拡散運転計画
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ReflectDrive-2は、自動運転向けに提案されたマスク離散拡散プランナーである。計画を離散軌跡トークンとして表現し、並列マスクデコードによって効率的に生成する。従来の連続軌跡生成手法とは異なり、離散化表現により自己回帰モデルや拡散モデルの柔軟性を活用しつつ、マスク機構による並列デコードを実現し、推論速度を大幅に向上させる。独立した動作専門家モジュールを備え、軌跡生成と動作実行を分離することで、システムのモジュール性を高めている。

中核機能であるAutoEditは、追加の精緻化ネットワークを必要とせず、生成済みの軌跡トークンをその場で修正する。この自己編集能力は2段階の訓練で獲得される。まず、縦方向の進行と横方向の方位に沿った構造認識摂動を構築し、モデルが元の専門家軌跡を復元するように教師あり学習を行う。これにより、モデルは軌跡中の誤りを認識し修正する方法を学習する。その後、強化学習(RL)を用いて「決定-草稿-リフレクト」の全ロールアウトを微調整し、最終編集後の軌跡に終端運転報酬を割り当て、全ロールアウト遷移を通じて方策勾配を伝播する。

実験では、全ロールアウトRLが草稿と編集の結合に不可欠であることが示された。教師あり学習のみでは、推論時のAutoEditはPDMSを最大0.3しか向上させないが、RLを導入するとその向上幅は1.9に達した。また、共有プレフィックスKV再利用、交互ステップデコード、融合型オンデバイスアンマスキングを組み合わせた効率的なリフレクティブデコードスタックを設計し、NVIDIA Thor上で平均遅延31.8ミリ秒を実現した。

NAVSIMベンチマークでは、カメラのみの入力で91.0 PDMS、ベスト・オブ・6のオラクル設定で94.8 PDMSを達成し、優れたプランニング性能とリアルタイム推論能力を示した。これらの成果は、離散拡散モデルの自動運転への実用的応用を強力に支援し、自己修正能力の向上における強化学習の大きな可能性を示している。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 離散軌跡トークンと並列マスクデコードで運転計画を表現・生成
  • AutoEditは補助ネットワークなしでその場での軌跡修正を実現
  • 構造認識摂動による教師あり学習と強化学習の2段階訓練
  • NAVSIMで91.0 PDMS(カメラのみ)、94.8 PDMS(best-of-6オラクル)、遅延31.8ms

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。