ゼロショット衛星画像検索：共同埋め込みによる危機対応への応用

地球観測アーカイブのセマンティック検索は依然として大きな課題です。既存の視覚基盤モデル（CLAYなど）は衛星画像の豊かな埋め込みを生成できますが、自然言語による直感的なクエリに必要な言語理解が欠けています。また、リモートセンシング向けのCLIPスタイルの完全な対照学習には、大規模なペアデータと計算リソースが必要であり、グローバルスケールでは実現困難です。GeoQueryは、プロンプト調整テキストプロキシを用いてこの制約を回避します。具体的には、全世界のSentinel-2タイルから抽出した10万のプロキシサブセットに対して言語記述を生成し、その記述生成プロンプトを最適化することで、テキスト埋め込み空間の距離が凍結されたCLAY視覚埋め込み空間の距離と相関するようにします。クエリは2段階で解決されます。まず、プロキシサブセット上でテキスト類似度検索を行い、次に全世界のCLAY埋め込みに対して視覚最近傍検索を実行します。英国の洪水、米国の山火事、干ばつをカバーする76件の災害位置クエリにおいて、GeoQueryは50km以内で31.6%の精度を達成し、特に洪水では50%の精度を示しました。これはRGB埋め込みが地形特徴をよく捉えるためです。このシステムは、エージェントアクショングラフを用いた危機対応システムECHOに導入され、2025年にブリスベンを襲ったサイクロン・アルフレッドの際に脆弱地域を特定し、下流の洪水シミュレーションで歴史的パターンを再現することに成功しました。プロンプト調整プロキシは、完全な対照学習が不可能な場合に、地球観測基盤モデルと運用検索との間の実用的な橋渡しを提供します。このアプローチは、大規模なペアデータを必要とせずに自然言語で衛星画像を検索できるようにすることで、災害対応や環境モニタリングなど迅速な画像検索が求められる分野に重要な影響を与える可能性があります。