Pinpoint：基於跨源檢索與重排序的精確全球圖像定位
Pinpoint是一種新的圖像地理定位方法，通過結合互聯網照片和街景圖像，利用檢索-重排序架構實現高精度定位。它訓練對比學習嵌入器統一來自Flickr和街景的圖像-GPS空間，再用注意力機制重排序候選位置。無需多模態大模型，在多個基準上達到最先進水平。
圖像地理定位（Image Geolocation）旨在從一張照片的視覺內容推斷出其拍攝地點。在全球範圍內，這一任務極具挑戰性，因為視覺證據往往模糊、多樣且分佈不均。以往的工作通常將普通互聯網照片和街景圖像的定位視為兩個獨立的任務，忽略了它們各自的優勢：互聯網照片更貼近用户拍攝的查詢圖像的視覺分佈，而街景圖像則提供更密集、地理覆蓋更全面的參考數據。
Pinpoint提出了一種檢索-重排序（retrieve-and-rerank）架構，將兩種數據源融合到一個由粗到精的流水線中。首先，訓練一個對比學習圖像-GPS嵌入器，同時使用Flickr用户上傳的照片和街景圖像，學習一個共享的圖像-GPS嵌入空間，用於檢索候選位置。這個嵌入器通過對比學習使得同一位置的不同圖像在嵌入空間中靠近，而不同位置的圖像遠離。隨後，一個基於注意力的重排序器登場：它結合候選位置的視覺和GPS特徵，並利用附近位置的跨源證據（例如，附近街景圖像與查詢圖像的相似性）來重新評分候選，從而確定最終預測。
與近期依賴多模態大語言模型（MLLM）的工作不同，Pinpoint完全基於視覺和GPS特徵的檢索與重排序，無需大模型參與。這不僅使推理速度更快，而且提高了結果的可重複性。實驗表明，Pinpoint在互聯網照片基準（IM2GPS3k和YFCC4k）以及街景圖像基準（OSV-5M）上，在所有指標上均達到了最先進的水平。例如，在IM2GPS3k上，Pinpoint的定位精度顯著優於此前的最佳方法。
該研究由Nika Chuzhoy等人完成，論文於2026年6月2日提交至arXiv（ID: 2606.04133），屬於計算機視覺與模式識別領域。Pinpoint的成功表明，通過巧妙的數據融合和高效的檢索架構，可以在不依賴大模型的情況下顯著提升全球圖像地理定位的性能。未來，這一方法有望在導航、考古、野生動物監測、社交媒體地理標記等眾多領域發揮重要作用，為需要精確位置信息的應用提供有力支持。