CLEAR: エンドツーエンド自動運転のための大規模クローズドループ強化学習

エンドツーエンド自動運転（E2E-AD）は、生のセンサ情報を直接運転動作にマッピングすることを目指しており、近年、マルチモーダル大規模言語モデル（MLLM）の進歩に伴い、視覚-言語-行動（VLA）モデルのパラダイムが提案されている。VLAモデルは視覚認識、言語理解、行動予測を単一のポリシーに統合するが、既存の手法は主に模倣学習に依存している。模倣学習では、記録された専門家の軌跡との距離指標を最適化するため、開ループ訓練と閉ループ推論の間の分布シフトが生じ、閉ループ計画の性能が低下する。この問題を解決するために、本論文ではCLEARシステムを提案する。CLEARは強化学習（RL）を用いた大規模な閉ループ訓練を可能にする。その核心は、事前学習されたVLAポリシーから得られるウェイポイント事前分布の周りに残差ウェイポイントポリシーを学習する点にある。これにより、既存の知識を効果的に活用しつつ、新しい状況に適応できる。また、RLを視覚ベースのポリシーにスケールアップする際の課題は、データ需要の高さから多数の並列シミュレーション環境が必要なことである。CLEARでは、シミュレータとVLA学習器を別々の計算グループに配置する異種パイプラインを設計し、資源競合を避けつつ訓練の安定性を維持しながら、並列環境数を劇的に増加させた。簡単な報酬関数を用いた実験では、CLEARが従来手法を大幅に上回り、CARLA longest6 v2とBench2Driveの挑戦的なベンチマークで新たな最先端性能を達成した。この成果は、エンドツーエンド自動運転の発展に寄与するとともに、大規模視覚ポリシーへの強化学習適用の有効性を示している。