CLEAR：端到端自动驾驶的大规模闭环强化学习系统

端到端自动驾驶（E2E-AD）的目标是直接从原始传感器输入映射到驾驶动作，近年来随着多模态大语言模型（MLLM）的快速发展，研究者提出了视觉-语言-动作（VLA）模型范式。VLA模型将视觉感知、语言理解和动作预测集成到单一策略中，展示了强大的潜力。然而，现有的VLA策略大多基于模仿学习，仅通过优化距离度量来拟合记录的专业轨迹，这导致开环训练与闭环推理之间存在严重的分布偏移，从而在闭环规划中性能不佳。为了弥补这一差距，本文提出了CLEAR系统，该系统利用强化学习（RL）进行大规模闭环训练。CLEAR的核心创新在于学习一种新颖的残差航点策略。该策略以预训练VLA策略生成的航点先验为基础，通过额外的残差调整来适应复杂的驾驶场景，从而有效利用了预训练模型中的知识。此外，将强化学习扩展到基于视觉的策略面临的关键挑战之一是需要大量的并行仿真环境来生成训练数据。为此，CLEAR设计了一种异构流水线架构：将仿真器和VLA学习器分别部署在独立的计算组上，通过异步通信实现高效协作。这种方法避免了资源竞争，同时保证了训练稳定性，使得并行仿真环境的数量大幅增加。实验结果表明，即使使用简单的奖励函数，CLEAR也在多个基准测试中显著超越了以往方法，特别是在CARLA longest6 v2和Bench2Drive这两个极具挑战性的测试集中取得了新的最先进性能。这一工作不仅推动了端到端自动驾驶的发展，也为强化学习在大规模视觉策略中的应用提供了有效范例。