零樣本衛星影像檢索：聯合嵌入在危機響應中的應用

地球觀測檔案的語義搜尋長期以來一直是遙感領域的難題。雖然像CLAY這樣的視覺基礎模型能夠生成衛星影像的豐富嵌入表示，但它們缺乏自然語言理解能力，無法直接支援使用者透過自然語言進行直觀查詢。傳統的解決方法是對視覺和語言嵌入進行聯合對比學習，例如CLIP模型，但這種方法需要海量的配對影像-文本資料和巨大的計算資源，在遙感領域很難在全球範圍內實現。針對這一挑戰，James Walsh、William Fawcett、Grace Colvard和Raúl Ramos-Pollán等研究者提出了GeoQuery——一個零樣本衛星影像檢索系統。該系統巧妙地在不訓練聯合編碼器的情況下，透過提示對齊的文本代理來連線視覺和語言空間。具體來說，他們從全球Sentinel-2衛星影像中選取了10萬個樣本作為代理子集，使用大型語言模型為每個樣本生成描述文本。然後，他們最佳化生成描述時使用的提示，使得得到的文本嵌入之間的距離與CLAY視覺嵌入之間的距離儘可能相關。這樣，文本嵌入空間就接近了視覺嵌入空間，從而實現了零樣本的語義檢索。查詢過程分為兩個階段：首先，使用者的自然語言查詢在代理子集中進行文本相似度搜尋，找到最相關的幾個文本描述；然後，以這些描述對應的影像嵌入為起點，在全球範圍內的CLAY嵌入庫中進行視覺最近鄰搜尋，最終返回最匹配的衛星影像。實驗表明，在包含英國洪水、美國山火和美國乾旱的76個災害地點查詢中，GeoQuery在50公里範圍內達到了31.6%的總體準確率。其中，洪水查詢表現最佳，準確率達到50%，這是因為RGB波段能夠很好地捕捉溼度和地形特徵。該系統已經整合到基於代理行為圖（Agentic Action Graphs）的危機響應系統ECHO中，並在2025年布里斯班氣旋阿爾弗雷德事件中成功識別了脆弱區域，所生成的下游洪水模擬重現了該地區歷史上的洪水模式。GeoQuery的提示對齊代理方法為地球觀測基礎模型與實際檢索應用之間架起了一座實用橋樑，尤其是在缺乏配對資料無法進行完整對比訓練的情況下，為快速部署語義檢索提供了可行方案。