跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

DialogueVPR:迈向对话式视觉地点识别

文章摘要

受人类交流空间信息的方式启发,语言引导的地理定位因其直观和实用价值而备受关注。然而,现有方法多依赖静态的一次性检索范式,难以处理真实世界自然语言描述中的歧义和不完整性。本文提出推理检索的范式转变,引入对话式地点识别(DlgPR),将定位视为交互式、对话驱动的推理过程。为此,论文构建了首个大规模对话式地点识别基准DlgQuest-Cities,并提出了统一推理框架,结合跨模态多级检索器与智能提问器DQ-pilot。DQ-pilot通过课程学习训练:在DQ-cities-20k子集上进行监督微调,再通过GRPO在更难的DQ-cities-10k上进行强化优化。实验表明,基于推理的方法显著优于基线。

来源arXiv AI作者: Yukun Song, Changwei Wang, Xingtian Pei, Shibiao Xu, Wenhao Xu, Shunpeng Chen, Yu Zhang, Ke Zhang, Rongtao Xu, Xuxiang Feng, Pengyang Wang
DialogueVPR:迈向对话式视觉地点识别
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

受人类交流空间信息的自然方式启发,语言引导的地理定位近年来取得了显著进展。然而,现有的视觉地点识别方法大多采用静态的一次性检索范式:给定一段自然语言描述,从数据库中直接匹配图像。这种范式难以应对真实世界描述中常见的歧义、不完整或模糊表达。例如,用户可能说“我前面有一栋红色大楼”,但这一描述可能对应多个地点。为了解决这一问题,来自多所机构的研究人员提出了推理检索的范式转变,并引入了对话式地点识别(Dialogue Place Recognition, DlgPR),将定位重塑为一个交互式、对话驱动的推理过程。

为了支持这一新任务,团队发布了目前最大的对话式地点识别基准数据集DlgQuest-Cities。该数据集包含大量来自不同城市的地理位置、图像与人机对话数据,为评估基于对话的定位提供了标准平台。同时,论文提出了一个统一的推理框架,该框架耦合了一个跨模态多级检索器与一个名为DQ-pilot的智能提问器。DQ-pilot的独特之处在于其训练方式:首先在精心筛选的DQ-cities-20k子集上进行监督微调,使其具备基础的提问能力;随后,通过在更困难的DQ-cities-10k子集上使用GRPO(一种基于群体相对策略优化的强化学习方法)进行优化,进一步提升其在复杂场景下的决策能力。

为了指导学习过程,论文设计了两项任务对齐的指标:判别难度指数(DDI)用于课程学习中的样本排序,位置检索增益(PRG)作为奖励函数直接衡量提问所带来的检索性能提升。实验结果表明,这种基于推理的方法在多个指标上显著优于传统的静态检索基线,展示了对话式推理在复杂地理定位任务中的巨大潜力。所有代码和模型已开源,为相关领域的研究者提供了宝贵的资源。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出对话式地点识别(DlgPR),将定位转化为交互式对话推理过程。
  • 构建首个大规模对话式地点识别基准DlgQuest-Cities。
  • 提出DQ-pilot智能提问器,通过课程学习结合监督微调和强化学习训练。
  • 实验证明推理检索方法显著优于传统的一次性检索基线。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。