語義感知引導的無人機探索：用於語言條件3D室內建圖

本論文提出了一種名為SAGE（語義感知引導探索）的系統，用於未知三維室內環境中的開放詞彙探索。該系統在保持覆蓋導向行為的同時，允許語義線索重新優先化前沿選擇。SAGE基於FALCON體積探索器，通過四個關鍵組件整合了對比語言-圖像預訓練（CLIP）：對象中心嵌入存儲、將近期觀測投影到自由-未知邊界的臨時緩存、用於高相似度檢測的對象前沿，以及統一的語義-幾何規劃成本。該成本函數限制了語義重新加權的影響，確保在不犧牲總覆蓋面積的前提下優先處理前沿。在基於Matterport3D的仿真中，SAGE在地圖-查詢對上的物體發現方面優於FALCON和僅語義的消融實驗。與“未知中尋找物體”（FTU）相比，SAGE在九個共享地圖-查詢對上的探索速度提高了9.0至25.9倍，平均加速比達到13.7。此外，SAGE實現了比FTU更高的體積吞吐量。最後，我們在兩個環境的五次真實飛行中，在配備機載感知和規劃以及板外CLIP推理的Modal AI Starling 2四旋翼飛行器上部署了SAGE。比較SAGE和FALCON，我們發現雖然FALCON導致更快的探索和更短的建圖軌跡，但SAGE在物體發現方面優於FALCON。該工作已被CVPR 2026第二屆3D-LLM/VLA Workshop接收，為非存檔研討會論文。論文包含10頁、6張圖和4張表格，展示了在機器人學和計算機視覺交叉領域的重要進展。SAGE系統通過引入CLIP的多模態理解能力，顯著提升了無人機在未知室內環境中根據語言指令發現物體的效率，為未來自主探索和建圖任務提供了新的可能性。