AI News HubLIVE
站内改写1 分钟阅读

DialogueVPR:迈向对话式视觉地点识别

受人类交流空间信息的方式启发,语言引导的地理定位因其直观和实用价值而备受关注。然而,现有方法多依赖静态的一次性检索范式,难以处理真实世界自然语言描述中的歧义和不完整性。本文提出推理检索的范式转变,引入对话式地点识别(DlgPR),将定位视为交互式、对话驱动的推理过程。为此,论文构建了首个大规模对话式地点识别基准DlgQuest-Cities,并提出了统一推理框架,结合跨模态多级检索器与智能提问器DQ-pilot。DQ-pilot通过课程学习训练:在DQ-cities-20k子集上进行监督微调,再通过GRPO在更难的DQ-cities-10k上进行强化优化。实验表明,基于推理的方法显著优于基线。

来源arXiv AI作者: Yukun Song, Changwei Wang, Xingtian Pei, Shibiao Xu, Wenhao Xu, Shunpeng Chen, Yu Zhang, Ke Zhang, Rongtao Xu, Xuxiang Feng, Pengyang Wang

受人类交流空间信息的自然方式启发,语言引导的地理定位近年来取得了显著进展。然而,现有的视觉地点识别方法大多采用静态的一次性检索范式:给定一段自然语言描述,从数据库中直接匹配图像。这种范式难以应对真实世界描述中常见的歧义、不完整或模糊表达。例如,用户可能说“我前面有一栋红色大楼”,但这一描述可能对应多个地点。为了解决这一问题,来自多所机构的研究人员提出了推理检索的范式转变,并引入了对话式地点识别(Dialogue Place Recognition, DlgPR),将定位重塑为一个交互式、对话驱动的推理过程。

为了支持这一新任务,团队发布了目前最大的对话式地点识别基准数据集DlgQuest-Cities。该数据集包含大量来自不同城市的地理位置、图像与人机对话数据,为评估基于对话的定位提供了标准平台。同时,论文提出了一个统一的推理框架,该框架耦合了一个跨模态多级检索器与一个名为DQ-pilot的智能提问器。DQ-pilot的独特之处在于其训练方式:首先在精心筛选的DQ-cities-20k子集上进行监督微调,使其具备基础的提问能力;随后,通过在更困难的DQ-cities-10k子集上使用GRPO(一种基于群体相对策略优化的强化学习方法)进行优化,进一步提升其在复杂场景下的决策能力。

为了指导学习过程,论文设计了两项任务对齐的指标:判别难度指数(DDI)用于课程学习中的样本排序,位置检索增益(PRG)作为奖励函数直接衡量提问所带来的检索性能提升。实验结果表明,这种基于推理的方法在多个指标上显著优于传统的静态检索基线,展示了对话式推理在复杂地理定位任务中的巨大潜力。所有代码和模型已开源,为相关领域的研究者提供了宝贵的资源。