跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

面向语言条件三维室内建图的语义感知无人机探索

文章摘要

SAGE 系统在保持覆盖导向探索的同时,利用 CLIP 语义线索重新排序前沿点,在 Matterport3D 模拟中比 FTU 平均快 13.7 倍,并在真实四旋翼飞行中提升物体发现能力。

来源arXiv Robotics作者: Nitin Vegesna, Avideh Zakhor
面向语言条件三维室内建图的语义感知无人机探索
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在未知三维室内环境中,无人机需要同时完成两件事:尽可能覆盖整个空间,并快速找到与语言指令相关的物体。传统体积探索方法擅长前者,却难以利用语义线索;纯语义方法则可能为了追逐目标而牺牲覆盖率。为此,论文提出语义感知引导探索系统 SAGE,试图在两者之间取得平衡。

SAGE 建立在 FALCON 体积探索器之上,并引入对比语言-图像预训练(CLIP)模型,使系统能够理解开放词汇查询。其核心包含四个组成部分。第一,面向对象的嵌入存储,将观测到的物体特征保存下来,供后续查询匹配。第二,时序缓存,把近期观测投影到自由-未知边界上,从而让语义信息与探索前沿保持关联。第三,对象前沿,针对高相似度检测结果生成专门的探索目标。第四,统一的语义-几何规划代价函数,将语义相似度与几何探索收益合并为一个可优化的规划指标。

关键设计在于,该代价函数对语义重加权的影响设置了上限。这意味着语义线索可以提升某些前沿点的优先级,但不会完全压过覆盖导向的探索行为。换句话说,系统允许语义线索“插队”,却不会让无人机忽略尚未探索的区域,从而在追求目标物体的同时维持总体覆盖率。

研究团队在基于 Matterport3D 的仿真环境中进行了评估。结果显示,SAGE 在物体发现任务上优于 FALCON 以及一个仅使用语义信息的消融版本。与 Finding Things in the Unknown(FTU)方法相比,SAGE 在九个共享的地图-查询对上完成探索的速度快 9.0 至 25.9 倍,平均加速达到 13.7 倍。此外,SAGE 的体积吞吐量也显著高于 FTU。

作者还将 SAGE 部署到真实场景中,在两种环境下使用 Modal AI Starling 2 四旋翼进行了五次飞行。无人机搭载机载传感与规划,CLIP 推理则在机外完成。与 FALCON 的对比表明,FALCON 的探索速度更快、建图轨迹更短,而 SAGE 在物体发现方面表现更好。这一结果说明,语义引导确实能提升目标发现能力,但可能以一定的探索效率为代价。

该工作被接收为 CVPR 2026 第二届 3D-LLM/VLA 研讨会(非档案)报告,论文共 10 页、6 幅图、4 张表。SAGE 的意义在于展示了如何将开放词汇语义模型安全地嵌入覆盖导向的探索框架,为语言条件的三维室内建图与目标搜索提供了一种可部署的思路。

展开要点与分析

文章情报

工程师进阶

要点

  • SAGE 在 FALCON 体积探索器基础上集成 CLIP,通过四个组件实现开放词汇探索。
  • 统一语义-几何规划代价限制语义重加权影响,确保不牺牲总覆盖率。
  • 在九组共享地图-查询对上,SAGE 比 FTU 平均加速 13.7 倍(9.0 至 25.9 倍)。
  • 真实飞行中,SAGE 物体发现优于 FALCON,但 FALCON 探索更快、轨迹更短。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。