跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

DINO腾飞:DINOv3用于遥感图像开放词汇语义分割

文章摘要

CAFe-DINO模型利用DINOv3骨干网络,无需在遥感数据上微调即可实现开放词汇语义分割,在重要遥感数据集上达到最先进性能。

来源arXiv Computer Vision作者: Ryan Faulkenberry, Saurabh Prasad
DINO腾飞:DINOv3用于遥感图像开放词汇语义分割
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

遥感图像语义分割在环境监测、城市规划、农业评估等领域具有广泛应用,然而高质量的密集标注数据集获取成本高昂,严重制约了监督学习方法的发展。近期,DINOv3模型在GEO-bench分割基准上超越了当前最先进的遥感基础模型,且无需在遥感数据上进行预训练,展示了强大的通用视觉表征能力。与此同时,DINO.txt技术的出现使得基于DINOv3骨干网络的开放词汇语义分割(OVSS)成为可能,为遥感领域提供了新的解决方案。受此启发,研究者提出了CAFe-DINO模型,这是一种完全无需遥感领域微调的OVSS模型。

CAFe-DINO(Cost Aggregation + Feature Upsampling with DINO)的核心创新在于通过成本聚合和无训练的上采样技术,充分利用DINOv3在遥感图像上的强大OVSS能力。具体而言,模型利用DINOv3骨干网络的稳健潜在表示,避免了在遥感数据上微调的必要;作为替代,仅在COCO-Stuff数据集的遥感相关子集上进行微调。这种策略不仅保留了DINOv3在自然图像上学习到的通用视觉知识,还通过成本聚合机制有效提升了文本嵌入与图像特征之间的对齐精度。无训练的上采样则通过简单的插值操作,将粗糙的相似度分数图映射到高分辨率,从而生成精细的分割结果。

DINOv3是Meta AI研究团队开发的自监督视觉变换器,在ImageNet等大规模数据集上预训练后,能够学习到丰富的语义特征。在GEO-bench基准上,它无需任何遥感先验知识就超越了专门设计的遥感基础模型,表明通用视觉模型在遥感领域具有巨大潜力。CAFe-DINO正是基于这一发现,通过轻量级的适配层将DINOv3的能力迁移到语义分割任务中。实验结果显示,CAFe-DINO在ISPRS Potsdam和Vaihingen等关键遥感分割数据集上取得了最先进的性能,甚至优于那些在遥感数据上微调过的OVSS方法。这一成功证明了结合强大的视觉基础模型与巧妙的零样本适应策略,可以有效缓解遥感领域标注数据不足的问题。相关代码和数据已在GitHub上公开,研究已被2026年CVPR MORSE Workshop接收。

展开要点与分析

文章情报

工程师进阶

要点

  • CAFe-DINO结合成本聚合与特征上采样,利用DINOv3的强开放词汇分割能力。
  • 模型无需遥感领域微调,仅在COCO-Stuff的遥感子集上微调。
  • 在关键遥感分割数据集上超越现有开放词汇方法。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。