受人類交流空間資訊的自然方式啟發,語言引導的地理定位近年來取得了顯著進展。然而,現有的視覺地點識別方法大多采用靜態的一次性檢索正規化:給定一段自然語言描述,從資料庫中直接匹配影像。這種正規化難以應對真實世界描述中常見的歧義、不完整或模糊表達。例如,使用者可能說“我前面有一棟紅色大樓”,但這一描述可能對應多個地點。為了解決這一問題,來自多所機構的研究人員提出了推理檢索的正規化轉變,並引入了對話式地點識別(Dialogue Place Recognition, DlgPR),將定位重塑為一個互動式、對話驅動的推理過程。
為了支援這一新任務,團隊釋出了目前最大的對話式地點識別基準資料集DlgQuest-Cities。該資料集包含大量來自不同城市的地理位置、影像與人機對話資料,為評估基於對話的定位提供了標準平臺。同時,論文提出了一個統一的推理框架,該框架耦合了一個跨模態多級檢索器與一個名為DQ-pilot的智慧提問器。DQ-pilot的獨特之處在於其訓練方式:首先在精心篩選的DQ-cities-20k子集上進行監督微調,使其具備基礎的提問能力;隨後,透過在更困難的DQ-cities-10k子集上使用GRPO(一種基於群體相對策略最佳化的強化學習方法)進行最佳化,進一步提升其在複雜場景下的決策能力。
為了指導學習過程,論文設計了兩項任務對齊的指標:判別難度指數(DDI)用於課程學習中的樣本排序,位置檢索增益(PRG)作為獎勵函式直接衡量提問所帶來的檢索效能提升。實驗結果表明,這種基於推理的方法在多個指標上顯著優於傳統的靜態檢索基線,展示了對話式推理在複雜地理定位任務中的巨大潛力。所有程式碼和模型已開源,為相關領域的研究者提供了寶貴的資源。