人間が空間情報を伝達する自然な方法に触発され、言語誘導型の地理的位置特定は近年著しい進歩を遂げている。しかし、既存の視覚的場所認識手法のほとんどは静的なワンショット検索パラダイムに依存しており、与えられた自然言語記述からデータベースの画像を直接マッチングする。このパラダイムでは、現実世界の記述に頻繁に含まれる曖昧さ、不完全さ、またはあいまいな表現を扱うことが困難である。例えば、ユーザーが「前に赤い建物がある」と言った場合、その記述は複数の場所に該当する可能性がある。この問題に対処するため、複数の研究機関の研究者らは推論検索へのパラダイムシフトを提案し、対話型場所認識(Dialogue Place Recognition, DlgPR)を導入した。これは位置特定をインタラクティブで対話駆動の推論プロセスとして再定義するものである。
この新しいタスクを支援するために、チームは現在最大の対話型場所認識ベンチマークデータセットであるDlgQuest-Citiesを公開した。このデータセットには、異なる都市からの多数の地理的位置、画像、および人とコンピュータの対話が含まれており、対話に基づく位置特定の評価のための標準プラットフォームを提供する。同時に、論文は統一推論フレームワークを提案する。このフレームワークは、クロスモーダルなマルチレベル検索器と、DQ-pilotと呼ばれる知的質問器を組み合わせたものである。DQ-pilotの訓練方法は独特である:最初に厳選されたDQ-cities-20kサブセットで教師ありファインチューニングを行い、基本的な質問能力を獲得させる。その後、より困難なDQ-cities-10kサブセットでGRPO(グループ相対政策最適化に基づく強化学習手法)を用いて最適化し、複雑なシナリオでの意思決定能力をさらに向上させる。
学習プロセスを導くために、論文は2つのタスク整合指標を設計した:識別困難度指数(DDI)はカリキュラム学習におけるサンプル順序付けに使用され、位置検索利得(PRG)は質問によって引き起こされる検索性能の向上を直接測定する報酬として機能する。実験結果は、この推論ベースの手法が複数の指標で従来の静的検索ベースラインを大幅に上回ることを示し、複雑な地理的位置特定タスクにおける対話型推論の大きな可能性を示している。すべてのコードとモデルはオープンソース化されており、関連分野の研究者に貴重なリソースを提供している。