跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

深入场景:通过焦点计划生成突破视觉语言决策中的感知瓶颈

文章摘要

SceneDiver 提出一种由粗到细的焦点计划生成方法,先构建整体场景图,再通过迭代循环分解任务,从而显著减少视觉语言模型(VLM)和视觉语言动作模型(VLA)的视觉幻觉,同时保持计算效率。

来源arXiv Computer Vision作者: Boyuan Xiao, Bohong Chen, Yumeng Li, Ji Feng, Yao-Xiang Ding, Kun Zhou
深入场景:通过焦点计划生成突破视觉语言决策中的感知瓶颈
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在机器人操作与导航等具身视觉-语言决策任务中,视觉-语言模型(VLMs)与视觉-语言-动作模型(VLAs)各有所长:前者擅长长期规划,后者擅长反应式控制。然而,二者受制于同一个感知瓶颈——由于模型难以区分任务相关物体与干扰物,视觉幻觉随之产生。理论上,准确识别并聚焦关键物体、同时过滤无关信息,是突破该限制的关键。最直接的方案是“一步聚焦”,即直接关注核心物体,但这一思路被证明效果有限,因为有效的聚焦本身需要深度的场景理解作为支撑。

为此,作者提出 SceneDiver,一种面向 VLMs 的由粗到细的聚焦计划生成方法,充分利用其长期规划能力。该方法首先构建整体场景图以建立初始理解,随后通过“识别—理解—分析”的迭代循环,将任务逐步分解为更简单的子问题。为支持反应式控制,研究团队还设计了一个轻量级适配器,将这种深思熟虑的聚焦能力蒸馏到 VLAs 中。

论文题为《Dive into the Scene: Breaking the Perceptual Bottleneck in Vision-Language Decision Making via Focus Plan Generation》,由 Boyuan Xiao 等共 6 位作者完成,于 2026 年 6 月 2 日提交至 arXiv(编号 arXiv:2606.04046,v1 版本于当日 07:50:56 UTC 发布,文件大小 3,070 KB),并已被 ICML 2026 接收。研究涉及计算机视觉与模式识别(cs.CV)、人工智能(cs.AI)、计算与语言(cs.CL)、机器学习(cs.LG)以及机器人学(cs.RO)等多个方向。

在标准具身 AI 基准上的评测显示,该方法显著降低了 VLMs 与 VLAs 的视觉幻觉,同时在需要快速执行的任务中保持了计算效率。作者已公开代码与数据,项目页面为 https://future-item.github.io/SceneDiver,论文亦提供 PDF、实验性 HTML 版本及 TeX 源码等访问途径。

展开要点与分析

文章情报

投资人进阶

要点

  • SceneDiver 利用 VLM 的长期规划能力,通过场景图建立初始理解,并迭代分解任务。
  • 设计轻量级适配器将深思熟虑的焦点能力蒸馏到 VLA,以支持反应式控制。
  • 在标准具身 AI 基准上验证,方法大幅降低 VLM 和 VLA 的视觉幻觉,且保持快速执行效率。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。