影像描述是計算機視覺中的一項重要任務，它使模型能夠生成視覺內容的自然語言描述。儘管已有多個面向自然影像和高解析度光學遙感影像的資料集，但多模態衛星資料（尤其是SAR影像和中解析度感測器）的描述資料集仍然非常有限。為了填補這一空白，研究團隊推出了Sentinel2Cap——一個全新的人工標註多模態影像描述資料集。
Sentinel2Cap資料集基於Sentinel-1 SAR和Sentinel-2多光譜影像構建，包含1300個影像對，空間解析度分別為10米和20米。這些影像覆蓋了多樣的土地覆蓋型別，如森林、農田、水體、城市區域等。每條描述都由人工手動編寫，並經過嚴格驗證，以確保語義準確性和語言質量。整個資料集已經公開，可供研究使用。
為了評估Sentinel2Cap的有效性，研究人員使用Qwen3-VL-8B-Instruct模型進行了零樣本影像描述評測。評測涵蓋三種影像模態：RGB影像、多光譜影像以及SAR偽RGB表示。結果顯示，RGB影像取得了最高的描述效能，而SAR影像對視覺語言模型來說最具挑戰性。此外，當提供模態特定的上下文提示時，所有評測指標均得到一致提升。這些發現不僅揭示了多模態遙感影像描述面臨的挑戰，也凸顯了人工標註資料集在推動跨模態場景理解研究中的潛在價值。
未來，團隊計劃擴充套件資料集規模，並探索針對SAR影像的專用描述模型。這一工作為遙感影像描述領域提供了重要的基準，有望促進多模態衛星資料智慧分析的發展。