画像キャプショニングはコンピュータビジョンにおける重要なタスクであり、モデルが視覚コンテンツの自然言語記述を生成できるようにします。既存のデータセットは主に自然画像や高解像度光学リモートセンシング画像に焦点を当てていますが、マルチモーダル衛星データ、特にSAR画像や中解像度センサーのためのキャプションデータセットは限られていました。このギャップを埋めるため、研究チームは新たに人間が注釈したマルチモーダル画像キャプションデータセット「Sentinel2Cap」を発表しました。
Sentinel2Capデータセットは、Sentinel-1 SARおよびSentinel-2マルチスペクトル画像に基づいて構築され、10mおよび20mの空間解像度を持つ1300組の画像ペアを含みます。これらの画像は森林、農地、水域、都市域など多様な土地被覆をカバーしています。各キャプションは手動で作成され、意味的正確性と言語品質を確保するために厳格に検証されています。データセットは公開されており、研究目的で利用可能です。
データセットの有効性を評価するために、研究者らはQwen3-VL-8B-Instructモデルを用いてゼロショットキャプショニング評価を実施しました。評価はRGB画像、マルチスペクトル画像、SAR擬似RGB表現の3つの画像モダリティに対して行われました。結果は、RGB画像が最も高いキャプショニング性能を達成する一方、SAR画像は視覚言語モデルにとってより困難であることを示しました。また、モダリティ固有のコンテキストプロンプトを提供することで、すべての評価指標で一貫した性能向上が見られました。これらの発見は、マルチモーダルリモートセンシング画像キャプショニングの課題と、クロスモーダルシーン理解の研究を進める上での人間注釈データセットの潜在的な価値を強調しています。
将来的には、データセットの規模拡大やSAR画像専用のキャプションモデルの開発が計画されています。この研究は、リモートセンシング画像キャプショニング分野に重要なベンチマークを提供し、マルチモーダル衛星データのインテリジェント分析の進展に貢献することが期待されます。