圖像描述是計算機視覺中的一項重要任務，它使模型能夠生成視覺內容的自然語言描述。儘管已有多個面向自然圖像和高分辨率光學遙感圖像的數據集，但多模態衞星數據（尤其是SAR圖像和中分辨率傳感器）的描述數據集仍然非常有限。為了填補這一空白，研究團隊推出了Sentinel2Cap——一個全新的人工標註多模態圖像描述數據集。
Sentinel2Cap數據集基於Sentinel-1 SAR和Sentinel-2多光譜圖像構建，包含1300個圖像對，空間分辨率分別為10米和20米。這些圖像覆蓋了多樣的土地覆蓋類型，如森林、農田、水體、城市區域等。每條描述都由人工手動編寫，並經過嚴格驗證，以確保語義準確性和語言質量。整個數據集已經公開，可供研究使用。
為了評估Sentinel2Cap的有效性，研究人員使用Qwen3-VL-8B-Instruct模型進行了零樣本圖像描述評測。評測涵蓋三種圖像模態：RGB圖像、多光譜圖像以及SAR偽RGB表示。結果顯示，RGB圖像取得了最高的描述性能，而SAR圖像對視覺語言模型來説最具挑戰性。此外，當提供模態特定的上下文提示時，所有評測指標均得到一致提升。這些發現不僅揭示了多模態遙感圖像描述面臨的挑戰，也凸顯了人工標註數據集在推動跨模態場景理解研究中的潛在價值。
未來，團隊計劃擴展數據集規模，並探索針對SAR圖像的專用描述模型。這一工作為遙感圖像描述領域提供了重要的基準，有望促進多模態衞星數據智能分析的發展。