跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

DialogueVPR:邁向對話式視覺地點識別

文章摘要

受人類交流空間信息的方式啓發,語言引導的地理定位因其直觀和實用價值而備受關注。然而,現有方法多依賴靜態的一次性檢索範式,難以處理真實世界自然語言描述中的歧義和不完整性。本文提出推理檢索的範式轉變,引入對話式地點識別(DlgPR),將定位視為交互式、對話驅動的推理過程。為此,論文構建了首個大規模對話式地點識別基準DlgQuest-Cities,並提出了統一推理框架,結合跨模態多級檢索器與智能提問器DQ-pilot。DQ-pilot通過課程學習訓練:在DQ-cities-20k子集上進行監督微調,再通過GRPO在更難的DQ-cities-10k上進行強化優化。實驗表明,基於推理的方法顯著優於基線。

來源arXiv AI作者: Yukun Song, Changwei Wang, Xingtian Pei, Shibiao Xu, Wenhao Xu, Shunpeng Chen, Yu Zhang, Ke Zhang, Rongtao Xu, Xuxiang Feng, Pengyang Wang
DialogueVPR:邁向對話式視覺地點識別
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

受人類交流空間信息的自然方式啓發,語言引導的地理定位近年來取得了顯著進展。然而,現有的視覺地點識別方法大多采用靜態的一次性檢索範式:給定一段自然語言描述,從數據庫中直接匹配圖像。這種範式難以應對真實世界描述中常見的歧義、不完整或模糊表達。例如,用户可能説“我前面有一棟紅色大樓”,但這一描述可能對應多個地點。為了解決這一問題,來自多所機構的研究人員提出了推理檢索的範式轉變,並引入了對話式地點識別(Dialogue Place Recognition, DlgPR),將定位重塑為一個交互式、對話驅動的推理過程。

為了支持這一新任務,團隊發佈了目前最大的對話式地點識別基準數據集DlgQuest-Cities。該數據集包含大量來自不同城市的地理位置、圖像與人機對話數據,為評估基於對話的定位提供了標準平台。同時,論文提出了一個統一的推理框架,該框架耦合了一個跨模態多級檢索器與一個名為DQ-pilot的智能提問器。DQ-pilot的獨特之處在於其訓練方式:首先在精心篩選的DQ-cities-20k子集上進行監督微調,使其具備基礎的提問能力;隨後,通過在更困難的DQ-cities-10k子集上使用GRPO(一種基於羣體相對策略優化的強化學習方法)進行優化,進一步提升其在複雜場景下的決策能力。

為了指導學習過程,論文設計了兩項任務對齊的指標:判別難度指數(DDI)用於課程學習中的樣本排序,位置檢索增益(PRG)作為獎勵函數直接衡量提問所帶來的檢索性能提升。實驗結果表明,這種基於推理的方法在多個指標上顯著優於傳統的靜態檢索基線,展示了對話式推理在複雜地理定位任務中的巨大潛力。所有代碼和模型已開源,為相關領域的研究者提供了寶貴的資源。

展開要點與分析

文章情報

工程師進階

要點

  • 提出對話式地點識別(DlgPR),將定位轉化為交互式對話推理過程。
  • 構建首個大規模對話式地點識別基準DlgQuest-Cities。
  • 提出DQ-pilot智能提問器,通過課程學習結合監督微調和強化學習訓練。
  • 實驗證明推理檢索方法顯著優於傳統的一次性檢索基線。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。