在道路施工区域,临时交通管制会重新引导车辆通行,自动驾驶系统必须把对可见交通设施的语义理解转化为一条连续、可执行的通过路径。几何预测器往往能生成多条看似合理的候选路径,但从中挑选出真正符合临时管制意图的那一条仍然困难。针对这一问题,论文提出了 SAGE(Semantic-to-Action Grounded Execution,语义到动作的落地执行)框架,以“读取—决策—执行—校验”的流程把路径构造、路径偏好与控制合规拆分开来,并在同一候选空间内协同处理。
SAGE 的核心思路是把视觉语言模型(VLM)输出的轨迹当作一种偏好信号,用来对完整的几何候选路径进行排序。具体而言,一个角色解耦的生成器负责构造候选路径,随后通过排序融合将每条候选自身的几何得分与其同 VLM 轨迹的一致程度结合起来。这样既保留了传统几何方法在路径生成上的多样性,又引入了 VLM 对交通场景语义的理解能力,避免仅凭几何分数做出与临时管制相悖的选择。
在监督信号方面,SAGE 围绕《统一交通控制设施手册》(MUTCD)设计训练结构,要求 SAGE-VLM 在给出通行决策和轨迹之前,先陈述车道状态与危险侧。预测出的危险侧会被转化为基于 MUTCD 条款的图像空间谓词,这些谓词支撑最终的有界干预——干预在得分和位移上均受到限制,从而保证修正不会过度偏离几何候选。
实验在 2,306 个真实世界 ROADWork 验证片段上展开。结果显示,在 87% 的片段中,候选集合里已经包含与人类演示路径相差 10 像素以内的路径,这说明候选生成本身覆盖充分;但选择遗憾占到了几何排序器误差的 53%,凸显了“选不对”才是主要瓶颈。SAGE 相对于该几何排序器将平均位移误差和最终位移误差分别降低 8.3% 和 12.0%,改进主要出现在远场区域,同时将硬约束违规减少 37%。此外,VLM 轨迹意见对全部四组测试过的生成器—选择器组合都有提升;SAGE 在精度上与最先进的 VLM 模块相当,且所用 VLM 响应更快,并在位移误差和安全指标上优于另外四种经过适配的驾驶 VLM。论文项目页面为 https://hhjj233.github.io/SAGE-page/。