自動駕駛技術近年來發展迅速，但端到端模型在罕見的長尾場景中仍面臨泛化挑戰。視覺-語言-動作（VLA）模型雖然展現潛力，卻受限於隱式引數知識，難以應對多樣化駕駛情境。檢索增強生成（RAG）透過引入外部專家知識提供了改進方向，但傳統的視覺檢索方式存在延遲高、語義模糊等問題。
針對這些難題，研究團隊提出了VLADriver-RAG框架。該框架的核心創新在於將感測器資料抽象為時空語義圖，透過“視覺到場景”機制有效濾除視覺噪聲，將低層感知資訊轉化為高層語義結構。在檢索環節，團隊設計了場景對齊嵌入模型，利用圖動態時間規整（Graph-DTW）度量，優先關注場景的拓撲結構一致性，而非表面的視覺相似性，從而提升檢索的準確性和相關性。
檢索到的專家先驗知識隨後被融合到基於查詢的VLA骨幹網路中，用於生成精確且解耦的軌跡規劃。實驗環節，團隊在Bench2Drive基準上進行了全面評估，最終取得了89.12的駕駛得分，大幅超越此前的最佳結果，樹立了新的效能標杆。
這項工作不僅為自動駕駛中的長尾場景處理提供了有效方案，也為檢索增強與多模態模型在機器人領域的融合探索了新路徑。未來，研究團隊計劃進一步最佳化檢索效率，並擴充套件至更復雜的駕駛環境。