Open-SAT：基於大語言模型引導的查詢嵌入精化，實現衛星影像中的開放詞彙目標檢索

在衛星遙感應用中，使用者查詢往往採用開放的自然語言形式，而非預設的固定類別。這種開放詞彙特性給影像塊檢索帶來了巨大挑戰，因為系統需要泛化到大量未見過的物體和概念。儘管CLIP等視覺語言模型（VLM）被廣泛用於文本-影像檢索，但即使經過微調，這些模型在將使用者查詢準確對齊到衛星影像內容時仍常顯不足。為了解決這一問題，研究人員Md Adnan Arefeen、Biplob Debnath、Ravi K. Rajendran、Murugan Sankaradas和Srimat T. Chakradhar提出了Open-SAT，這是一種完全無需額外訓練、僅在推理階段執行的查詢嵌入精化演算法。Open-SAT的核心思想是：在使用者提交自然語言查詢時，不直接使用原始查詢嵌入，而是呼叫大語言模型（LLM）對查詢進行精化。LLM基於對物體和場景的豐富理解，生成更豐富的上下文表示，從而顯著提升文本嵌入與衛星影像嵌入之間的相似度計算準確性。具體而言，Open-SAT首先使用VLM計算每個影像塊的嵌入，並將這些嵌入儲存在向量資料庫中，以實現高效的相似性搜尋。當使用者輸入查詢時，系統會利用LLM對查詢文本進行精化處理，融入感興趣物體及其周圍環境的上下文資訊。此外，演算法還採用了免閾值檢索機制，避免了手動設定閾值帶來的精度損失，進一步提高了檢索的精度和效率。實驗評估在三個公開基準資料集上進行。結果顯示，Open-SAT將F1分數最高提升了16.04%，同時檢索到的影像塊數量與基線方法相當。這些結果充分證明了Open-SAT在開放詞彙衛星影像檢索任務中的有效性，且無需任何額外訓練或人工標註，僅需在推理時藉助LLM的引導即可實現顯著的效能提升。該研究為衛星影像檢索提供了一種輕量級、即插即用的解決方案，尤其適用於動態變化的查詢需求。未來，作者計劃探索更高效的LLM整合方式以及多模態融合策略，以進一步提升檢索效能。