自律運転の分野では、エンドツーエンドの制御手法として視覚-言語-行動(VLA)モデルが注目されているが、パラメータに依存する知識のために、まれな長尾シナリオでの汎化が課題となっている。検索拡張生成(RAG)は外部の専門知識を利用することで解決策を提供するが、標準的な視覚検索は遅延が大きく、意味的曖昧性を伴う。
これらの問題に対応するため、研究者らはVLADriver-RAGという新しいフレームワークを提案した。このフレームワークでは、まず「Visual-to-Scenario」メカニズムにより、センサー入力を時空間セマンティックグラフに抽象化し、視覚ノイズを効果的に除去する。次に、検索の関連性を高めるために「シナリオ整列埋め込みモデル」を採用し、グラフ動的時間伸縮(Graph-DTW)によるアライメントを用いて、外観の類似性ではなくトポロジー構造の一貫性を優先する。
検索された専門家先験知識は、クエリベースのVLAバックボーンに融合され、正確で分離可能な軌跡の生成に利用される。実験では、Bench2Driveベンチマークにおいて運転スコア89.12を達成し、従来の最先端手法を上回る性能を示した。
この研究成果は、複雑な環境における自律システムの信頼性向上に寄与し、検索拡張技術と多モーダルモデルの融合における重要な進展と言える。