Open-SAT：基于大语言模型引导的查询嵌入精化，实现卫星图像中的开放词汇目标检索

在卫星遥感应用中，用户查询往往采用开放的自然语言形式，而非预设的固定类别。这种开放词汇特性给图像块检索带来了巨大挑战，因为系统需要泛化到大量未见过的物体和概念。尽管CLIP等视觉语言模型（VLM）被广泛用于文本-图像检索，但即使经过微调，这些模型在将用户查询准确对齐到卫星图像内容时仍常显不足。为了解决这一问题，研究人员Md Adnan Arefeen、Biplob Debnath、Ravi K. Rajendran、Murugan Sankaradas和Srimat T. Chakradhar提出了Open-SAT，这是一种完全无需额外训练、仅在推理阶段运行的查询嵌入精化算法。Open-SAT的核心思想是：在用户提交自然语言查询时，不直接使用原始查询嵌入，而是调用大语言模型（LLM）对查询进行精化。LLM基于对物体和场景的丰富理解，生成更丰富的上下文表示，从而显著提升文本嵌入与卫星图像嵌入之间的相似度计算准确性。具体而言，Open-SAT首先使用VLM计算每个图像块的嵌入，并将这些嵌入存储在向量数据库中，以实现高效的相似性搜索。当用户输入查询时，系统会利用LLM对查询文本进行精化处理，融入感兴趣物体及其周围环境的上下文信息。此外，算法还采用了免阈值检索机制，避免了手动设定阈值带来的精度损失，进一步提高了检索的精度和效率。实验评估在三个公开基准数据集上进行。结果显示，Open-SAT将F1分数最高提升了16.04%，同时检索到的图像块数量与基线方法相当。这些结果充分证明了Open-SAT在开放词汇卫星图像检索任务中的有效性，且无需任何额外训练或人工标注，仅需在推理时借助LLM的引导即可实现显著的性能提升。该研究为卫星图像检索提供了一种轻量级、即插即用的解决方案，尤其适用于动态变化的查询需求。未来，作者计划探索更高效的LLM集成方式以及多模态融合策略，以进一步提升检索性能。