視覺語言導航（VLN）旨在使具身智能體通過遵循自然語言指令在未知環境中達到目標位置。儘管近年來視覺語言模型（VLM）在語言理解和二維視覺識別上取得了顯著進展，但它們在進行三維空間推理時仍然面臨嚴重挑戰。具體而言，VLM難以捕捉動作與空間變換之間的因果關係，導致在零樣本設置下導航可靠性不足。為了解決這一語義-幾何鴻溝，研究人員提出了分層語義幾何地圖（HSGM）。HSGM將三維幾何信息轉換為與VLM兼容的結構化表示，從而有效連接VLM與物理世界。
HSGM表示為多通道俯視圖，包含三個層次：幾何層記錄可通行區域和障礙物，利用佔用地圖和高度圖編碼空間結構；語義層表示物體及其關係，通過目標檢測和場景圖構建實體與關聯；決策層支持高層任務推理和目標選擇，融合任務上下文。在導航過程中，VLM（如GPT-4V）作為高層語義規劃器，通過解讀HSGM中的決策層選擇幾何上有效的路徑點，而路徑點之間的低層無碰撞移動則由經典路徑規劃算法（如快速行進法）執行，從而完全解耦語義推理與動作執行。此外，複雜指令被分解為子任務，採用基於規則的方法將長指令切分為較短片段，以緩解長程導航中的進展遺忘或幻覺問題。
在R2R-CE（Room-to-Room連續擴展）和RxR-CE（跨房間）基準上的大量實驗表明，該零樣本框架達到了最先進的性能，成功率高達70%，比之前的最佳零樣本方法提升15%，甚至超越了一些有監督基線。代碼已在GitHub上開源。這項工作有效彌合了二維視覺與三維空間推理之間的鴻溝，為視覺語言導航領域提供了新的思路和實用解決方案。