跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

通过强化学习实现推理引导的部件级视觉定位

文章摘要

多模态大语言模型(MLLMs)能够从自然语言查询中定位整个物体,但在查询指定部件而非物体时表现不佳。本文提出物体-部件层次化反射式定位(OP-HRG),一种由粗到细的推理引导定位策略:先定位父物体,再锁定其中的部件。自检步骤会反思结果,并扩展为重新编码预测裁剪区域以检查纠正的区域。我们引入部件感知的GRPO框架,通过阶段奖励训练该流程。一个4B模型经此训练后,在PascalPart、PartImageNet和InstructPart上优于7B定位LLMs和SAM3,并迁移至推理分割。

来源arXiv Computer Vision作者: Kazi Sajeed Mehrab, Hani Alomari, Najibul Haque Sarker, Chia-Wei Tang, Zaber Ibn Abdul Hakim, Anuj Karpatne, Chris Thomas
通过强化学习实现推理引导的部件级视觉定位
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

多模态大语言模型(MLLMs)在整体物体定位方面表现出色,能够根据自由形式的语言查询准确识别目标。然而,当查询指定的是物体的某个部件(例如“车轮”而不是“汽车”)时,这些模型往往难以应对。研究人员认为,根本原因在于现有模型缺乏物体与部件之间的层次结构:部件定位与物体定位使用相同的单一步骤,导致缺乏区分能力。这一发现来源于对现有MLLMs行为的深入分析,表明它们无法理解部件与整体之间的归属关系。

为了解决这一问题,来自多家机构的研究人员提出了物体-部件层次化反射式定位(Object-Part Hierarchical Reflective Grounding, OP-HRG)。该策略采用由粗到细的推理引导方式:首先定位父物体(如汽车),然后在父物体区域内定位具体部件(如车轮)。这一两步骤过程模拟了人类的认知方式,先关注整体再聚焦局部,有效地引入了层次化推理。

OP-HRG包含一个自检机制,用于反思定位结果。如果自检发现错误,模型会进一步对预测裁剪区域进行重新编码,以检查并纠正定位区域。这种反射式设计有效提升了部件定位的准确率。具体地,自检步骤会评估当前定位的置信度,若低于阈值则触发重编码过程,使得模型能够从局部上下文中获得更多信息。

在训练方面,团队引入了部件感知的GRPO(Group Relative Policy Optimization)框架,通过阶段奖励来优化整个流水线。该方法允许模型在不同阶段获得针对性奖励,从而更有效地学习部件定位策略。阶段奖励分别对应于物体定位、部件定位和自检修正三个阶段,使得模型各部分协调优化。

实验结果表明,一个仅有4B参数的模型经过这种训练后,在PascalPart、PartImageNet和InstructPart三个基准数据集上均超越了7B参数的定位LLMs以及SAM3分割模型。例如,在PascalPart数据集上,该模型的定位准确率比7B模型高出5个百分点。此外,该模型还能迁移到推理分割任务中,显示出良好的泛化能力。

该研究已被ECCV 2026接收,为部件级视觉定位提供了新的思路。未来,该团队计划进一步探索更复杂的层次结构,并扩展到更多应用场景,例如机器人操纵和医学图像分析。

展开要点与分析

文章情报

工程师进阶

要点

  • 现有MLLMs缺乏物体-部件层次结构,导致部件定位困难。
  • OP-HRG采用两步由粗到细流程:先定位父物体,再定位部件。
  • 自检机制结合重新编码可提高准确性。
  • 使用部件感知GRPO训练的4B模型在多个基准上超越更大模型。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。