軌跡認識型クロスビュー地理位置特定：シーケンシャル観測に基づく手法
クロスビュー地理位置特定は地上観測を衛星画像とマッチングする。近年の手法はビデオクリップなどのシーケンシャルクエリで時空間的手がかりを得るが、経路記述という補完的モダリティを見落としている。本論文ではSeqGeo-VLデータセット（約3.9万のビデオ-テキスト-衛星トリプレット）とTrajLoc統一フレームワークを提案。ビデオと経路記述の両方を処理し、密な視覚的意味と抽象的な言語的意味を相互強化する。さらにTrajMod軽量モジュールにより、軌跡形状に基づいてクエリ埋め込みを条件付け、空間認識表現を実現。実験ではビデオ・テキスト双方の地理位置特定で最先端手法を大幅に上回る成果を示した。
クロスビュー地理位置特定（Cross-view Geo-localization）は、地上で撮影された画像やビデオを衛星画像とマッチングする技術であり、自動運転、ロボットナビゲーション、拡張現実などの分野で広く利用されている。従来の手法は主に単一の地上画像に依存していたが、ビデオクリップのようなシーケンシャルデータはより豊かな時空間的手がかりを提供するため、精度向上に寄与する。しかし、既存のシーケンシャル手法は視覚情報のみに焦点を当てており、経路記述という別の重要なシーケンシャルモダリティを見落としている。経路記述は移動経路を自然言語で抽象的に表現したものであり、ユーザーが自動運転車に口頭で目的地を指示するような状況では、唯一の入力となることもある。
この問題を解決するため、Tianyi Gao氏らの研究チームはECCV 2026で発表された論文「Trajectory-aware Cross-view Geo-localization with Sequential Observations」において、SeqGeo-VLデータセットを提案した。このデータセットは約3.9万のビデオ-テキスト-衛星トリプレットから構成され、多様な地理シナリオと気象条件をカバーしている。さらに、ビデオクリップと経路記述の両方を処理できる統一フレームワークTrajLocを構築した。TrajLocは、密な視覚的特徴と抽象的な言語的意味を相互に活用することで、クロスビューマッチングの精度とロバスト性を大幅に向上させる。
TrajLocの主要な革新点の一つは、軽量モジュールTrajModである。このモジュールは軌跡の形状や方向変化などの幾何情報を用いてクエリ埋め込みを条件付け、空間認識型の表現を生成する。これにより、地上の軌跡と衛星画像上の対応領域をより正確に整合できる。実験では、ビデオ地理位置特定タスクにおいて既存の最先端手法と比較してリコール率が10%以上向上し、テキスト地理位置特定タスクでも顕著な性能向上が確認された。プロジェクトページとコードは公開されており、今後の研究の基盤となることが期待される。