視覚言語ナビゲーション（Vision-Language Navigation、VLN）は、自然言語の指示に従って、未経験の環境において目標地点へ到達することを具現化エージェントに可能にする技術である。近年の視覚言語モデル（VLM）の進展にもかかわらず、本論文の著者らは重要なセマンティック・ジオメトリックギャップが残っていると指摘する。すなわち、VLMは言語と2Dの視覚理解に優れる一方で、3D空間推論を苦手とし、行動と空間状態の遷移の間にある因果関係を捉えられず、特にゼロショット設定でナビゲーションが不安定になるという問題である。
このギャップを埋めるため、著者らは階層型セマンティック・ジオメトリックマップ（Hierarchical Semantic-Geometric Map、HSGM）を提案する。これは3D幾何情報を、VLMが扱える構造化表現へと変換し、VLMと物理世界とを効果的に結びつけるものである。HSGMはマルチチャネルのトップダウンマップとして表現され、三つの階層から構成される。幾何レベルは通行可能領域と障害物を記録し、意味レベルは物体とその関係を表現し、意思決定レベルは高レベルのタスク推論と目標選択を支える。
ナビゲーション時には役割分担が明確化される。VLMは高レベルの意味プランナーとして振る舞い、HSGMに符号化された空間レイアウトを解釈して、幾何的に妥当なウェイポイントを選択する。一方、ウェイポイント間の低レベルの衝突回避移動は古典的な経路計画アルゴリズムが実行し、意味推論と行動実行を完全に分離する。これによりVLMが細かな3D空間制御を単独で担う必要がなくなる。
さらに、長期的なナビゲーションで生じやすい進捗の忘却や幻覚の問題に対して、複雑な指示をサブタスクに分解し、段階的にタスクを進める手法を導入している。
評価では、R2R-CEとRxR-CEの二つのベンチマークで広範な実験を実施した。その結果、このゼロショットフレームワークは最先端の性能を達成し、いくつかの教師あり手法をも上回ることが示された。コードは公開されており、リポジトリはhttps://github.com/Teacher-Tom/HSGM_public である。本論文は2026年5月25日に投稿され、著者はKailing Li氏と他6名の共著者であり、cs.CV、cs.AI、cs.CL、cs.ROにまたがる研究である。