零样本卫星图像检索：联合嵌入在危机响应中的应用

地球观测档案的语义搜索长期以来一直是遥感领域的难题。虽然像CLAY这样的视觉基础模型能够生成卫星图像的丰富嵌入表示，但它们缺乏自然语言理解能力，无法直接支持用户通过自然语言进行直观查询。传统的解决方法是对视觉和语言嵌入进行联合对比学习，例如CLIP模型，但这种方法需要海量的配对图像-文本数据和巨大的计算资源，在遥感领域很难在全球范围内实现。针对这一挑战，James Walsh、William Fawcett、Grace Colvard和Raúl Ramos-Pollán等研究者提出了GeoQuery——一个零样本卫星图像检索系统。该系统巧妙地在不训练联合编码器的情况下，通过提示对齐的文本代理来连接视觉和语言空间。具体来说，他们从全球Sentinel-2卫星影像中选取了10万个样本作为代理子集，使用大型语言模型为每个样本生成描述文本。然后，他们优化生成描述时使用的提示，使得得到的文本嵌入之间的距离与CLAY视觉嵌入之间的距离尽可能相关。这样，文本嵌入空间就接近了视觉嵌入空间，从而实现了零样本的语义检索。查询过程分为两个阶段：首先，用户的自然语言查询在代理子集中进行文本相似度搜索，找到最相关的几个文本描述；然后，以这些描述对应的图像嵌入为起点，在全球范围内的CLAY嵌入库中进行视觉最近邻搜索，最终返回最匹配的卫星图像。实验表明，在包含英国洪水、美国山火和美国干旱的76个灾害地点查询中，GeoQuery在50公里范围内达到了31.6%的总体准确率。其中，洪水查询表现最佳，准确率达到50%，这是因为RGB波段能够很好地捕捉湿度和地形特征。该系统已经集成到基于代理行为图（Agentic Action Graphs）的危机响应系统ECHO中，并在2025年布里斯班气旋阿尔弗雷德事件中成功识别了脆弱区域，所生成的下游洪水模拟重现了该地区历史上的洪水模式。GeoQuery的提示对齐代理方法为地球观测基础模型与实际检索应用之间架起了一座实用桥梁，尤其是在缺乏配对数据无法进行完整对比训练的情况下，为快速部署语义检索提供了可行方案。