自动驾驶技术近年来发展迅速，但端到端模型在罕见的长尾场景中仍面临泛化挑战。视觉-语言-动作（VLA）模型虽然展现潜力，却受限于隐式参数知识，难以应对多样化驾驶情境。检索增强生成（RAG）通过引入外部专家知识提供了改进方向，但传统的视觉检索方式存在延迟高、语义模糊等问题。
针对这些难题，研究团队提出了VLADriver-RAG框架。该框架的核心创新在于将传感器数据抽象为时空语义图，通过“视觉到场景”机制有效滤除视觉噪声，将低层感知信息转化为高层语义结构。在检索环节，团队设计了场景对齐嵌入模型，利用图动态时间规整（Graph-DTW）度量，优先关注场景的拓扑结构一致性，而非表面的视觉相似性，从而提升检索的准确性和相关性。
检索到的专家先验知识随后被融合到基于查询的VLA骨干网络中，用于生成精确且解耦的轨迹规划。实验环节，团队在Bench2Drive基准上进行了全面评估，最终取得了89.12的驾驶得分，大幅超越此前的最佳结果，树立了新的性能标杆。
这项工作不仅为自动驾驶中的长尾场景处理提供了有效方案，也为检索增强与多模态模型在机器人领域的融合探索了新路径。未来，研究团队计划进一步优化检索效率，并扩展至更复杂的驾驶环境。