道路の作業区間では、一時的な交通規制によって車両の通行経路が変更される。自動運転車は、目に見える交通設備の意味を解釈し、それを連続した通過経路へと結びつける必要がある。幾何学的予測器は複数のもっともらしい経路を提示できるが、その中から一時規制に整合する一つを選び出すことは依然として難しい。論文が提案するSAGE(Semantic-to-Action Grounded Execution)は、「読み取り—決定—実行—検証」という枠組みで、経路の生成、経路の選好、制御への準拠を同一の候補空間内で分離して扱う。
SAGEの中心的なアイデアは、視覚言語モデル(VLM)が出力する軌道を、完全な幾何候補に対する選好として利用することにある。役割分離型の生成器が候補を構築し、ランク融合によって各候補の幾何スコアとVLM軌道との一致度を統合する。これにより、幾何スコアだけでは一時規制と矛盾する選択をしてしまう問題を避けつつ、幾何手法が持つ経路生成の多様性を維持できる。
教師信号の設計では、米国の「統一交通制御施設マニュアル」(MUTCD)に沿った監督を行う。SAGE-VLMは通過判断と軌道を示す前に、車線の状態と危険側を明示するよう訓練される。予測された危険側はMUTCDの規定から導かれる画像空間の述語に変換され、最終的な介入を支える。この介入はスコアと変位の両面で上限が設けられており、幾何候補から過度に逸脱しないよう制御される。
実験は2,306件の実世界ROADWork検証エピソードで実施された。候補集合には、87%のエピソードで人間のデモンストレーションから10ピクセル以内の経路が含まれていたが、幾何ランカーの誤差のうち53%は選択の後悔によるものであり、候補生成よりも選択が主なボトルネックであることが示された。SAGEはこのランカーと比較して平均変位誤差を8.3%、最終変位誤差を12.0%削減し、改善は主に遠方領域で見られた。さらにハード制約違反を37%削減した。VLMの軌道意見は、試験した4組の生成器・選択器の組み合わせすべてを改善した。SAGEは最先端のVLMモジュールと同等の精度を持ちながら、より高速に応答するVLMを用いており、変位誤差と安全指標において他の4つの適応済み運転VLMを上回った。プロジェクトページは https://hhjj233.github.io/SAGE-page/ である。