CLEAR：端到端自動駕駛的大規模閉環強化學習系統

端到端自動駕駛（E2E-AD）的目標是直接從原始傳感器輸入映射到駕駛動作，近年來隨着多模態大語言模型（MLLM）的快速發展，研究者提出了視覺-語言-動作（VLA）模型範式。VLA模型將視覺感知、語言理解和動作預測集成到單一策略中，展示了強大的潛力。然而，現有的VLA策略大多基於模仿學習，僅通過優化距離度量來擬合記錄的專業軌跡，這導致開環訓練與閉環推理之間存在嚴重的分佈偏移，從而在閉環規劃中性能不佳。為了彌補這一差距，本文提出了CLEAR系統，該系統利用強化學習（RL）進行大規模閉環訓練。CLEAR的核心創新在於學習一種新穎的殘差航點策略。該策略以預訓練VLA策略生成的航點先驗為基礎，通過額外的殘差調整來適應複雜的駕駛場景，從而有效利用了預訓練模型中的知識。此外，將強化學習擴展到基於視覺的策略面臨的關鍵挑戰之一是需要大量的並行仿真環境來生成訓練數據。為此，CLEAR設計了一種異構流水線架構：將仿真器和VLA學習器分別部署在獨立的計算組上，通過異步通信實現高效協作。這種方法避免了資源競爭，同時保證了訓練穩定性，使得並行仿真環境的數量大幅增加。實驗結果表明，即使使用簡單的獎勵函數，CLEAR也在多個基準測試中顯著超越了以往方法，特別是在CARLA longest6 v2和Bench2Drive這兩個極具挑戰性的測試集中取得了新的最先進性能。這一工作不僅推動了端到端自動駕駛的發展，也為強化學習在大規模視覺策略中的應用提供了有效範例。