跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

Affordance2Action:面向实时操作的任务条件场景级可供性定位

文章摘要

该论文提出 Affordance2Action(A2A)框架及其核心基准 A2A-Bench,用于日常场景中任务条件下的部件级可供性定位,涵盖单区域和多区域指令对应关系,并配套可扩展的智能体辅助标注流水线 A2A-AffordGen。

来源arXiv Robotics作者: Litao Liu, Yifan Han, Pengfei Yi, Wenbo Yu, Hanqing Wang, Haoran Du, Enze Yuan, Zilin Yuan, Ruiding Feng, Michael Liu, Qi Zhang, Jingjin Yu
Affordance2Action:面向实时操作的任务条件场景级可供性定位
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

机器人操作领域的一项新研究把关注点从“识别物体是什么”转向“判断物体在特定任务中哪个部位可用”。论文《Affordance2Action: Task-Conditioned Scene-level Affordance Grounding for Real-Time Manipulation》提出,任务条件下的操作需要把指令落到任务相关的功能部件上,而不是停留在物体类别层面。

作者指出,这一设定高度依赖场景,并且在杂乱环境中往往是一对多的:同一个物体在不同任务中可能提供不同的交互方式;反过来,同一个任务也可能对应一个功能区域,或依据场景布局对应多个同样有效的功能区域。现有可供性数据集与基准与这种设定并不匹配,它们通常聚焦抓取或物体级可供性,依赖合成场景,或者假定指令与区域之间只有单一对应关系。

为解决这一问题,研究团队提出 Affordance2Action(A2A),这是一个以基准为中心的学习框架,面向场景级、任务条件的部件可供性定位。其核心是 A2A-Bench,一个面向操作的基准,覆盖日常场景中的单区域与多区域指令对应关系,其中多区域情形着重体现真实多物体环境中可供性定位的模糊性与多样性。

为了让基准能够大规模构建,作者设计了 A2A-AffordGen,这是一条智能体辅助标注流水线,融合了语言模型筛选、交互式部件分割、实例级 mask-out 精修、基于任务推理的指令生成以及人工核验等环节。

论文还展示了 A2A-Bench 的监督信号可支持多种下游应用,实时可供性定位与可供性条件操作策略是两个代表性例子。实验结果显示,A2A 暴露出通用分割、基于视觉语言模型(VLM)的定位以及可供性蒸馏等基线方法存在明显不足,同时它在任务级定位上有所提升,并能为下游操作提供有用的空间先验。

该论文提交于 2026 年 6 月 2 日,作者为 Litao Liu 等共 12 人,属于机器人学(cs.RO)方向,全文 23 页。作者表示,所有数据集和代码都将公开发布,以推动开放研究。

展开要点与分析

文章情报

工程师进阶

要点

  • A2A-Bench 同时覆盖单区域和多区域指令对应关系,突出杂乱场景中的可供性歧义性。
  • A2A-AffordGen 结合语言模型筛选、交互式部件分割、实例级 mask-out 精修、任务推理指令生成与人工核验。
  • 实验表明通用分割、基于 VLM 的定位和可供性蒸馏基线仍存在明显差距。
  • 作者称所有数据集和代码将公开,以促进开放研究。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。