跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

DINO騰飛:DINOv3用於遙感圖像開放詞彙語義分割

文章摘要

CAFe-DINO模型利用DINOv3骨幹網絡,無需在遙感數據上微調即可實現開放詞彙語義分割,在重要遙感數據集上達到最先進性能。

來源arXiv Computer Vision作者: Ryan Faulkenberry, Saurabh Prasad
DINO騰飛:DINOv3用於遙感圖像開放詞彙語義分割
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

遙感圖像語義分割在環境監測、城市規劃、農業評估等領域具有廣泛應用,然而高質量的密集標註數據集獲取成本高昂,嚴重製約了監督學習方法的發展。近期,DINOv3模型在GEO-bench分割基準上超越了當前最先進的遙感基礎模型,且無需在遙感數據上進行預訓練,展示了強大的通用視覺表徵能力。與此同時,DINO.txt技術的出現使得基於DINOv3骨幹網絡的開放詞彙語義分割(OVSS)成為可能,為遙感領域提供了新的解決方案。受此啓發,研究者提出了CAFe-DINO模型,這是一種完全無需遙感領域微調的OVSS模型。

CAFe-DINO(Cost Aggregation + Feature Upsampling with DINO)的核心創新在於通過成本聚合和無訓練的上採樣技術,充分利用DINOv3在遙感圖像上的強大OVSS能力。具體而言,模型利用DINOv3骨幹網絡的穩健潛在表示,避免了在遙感數據上微調的必要;作為替代,僅在COCO-Stuff數據集的遙感相關子集上進行微調。這種策略不僅保留了DINOv3在自然圖像上學習到的通用視覺知識,還通過成本聚合機制有效提升了文本嵌入與圖像特徵之間的對齊精度。無訓練的上採樣則通過簡單的插值操作,將粗糙的相似度分數圖映射到高分辨率,從而生成精細的分割結果。

DINOv3是Meta AI研究團隊開發的自監督視覺變換器,在ImageNet等大規模數據集上預訓練後,能夠學習到豐富的語義特徵。在GEO-bench基準上,它無需任何遙感先驗知識就超越了專門設計的遙感基礎模型,表明通用視覺模型在遙感領域具有巨大潛力。CAFe-DINO正是基於這一發現,通過輕量級的適配層將DINOv3的能力遷移到語義分割任務中。實驗結果顯示,CAFe-DINO在ISPRS Potsdam和Vaihingen等關鍵遙感分割數據集上取得了最先進的性能,甚至優於那些在遙感數據上微調過的OVSS方法。這一成功證明了結合強大的視覺基礎模型與巧妙的零樣本適應策略,可以有效緩解遙感領域標註數據不足的問題。相關代碼和數據已在GitHub上公開,研究已被2026年CVPR MORSE Workshop接收。

展開要點與分析

文章情報

工程師進階

要點

  • CAFe-DINO結合成本聚合與特徵上採樣,利用DINOv3的強開放詞彙分割能力。
  • 模型無需遙感領域微調,僅在COCO-Stuff的遙感子集上微調。
  • 在關鍵遙感分割數據集上超越現有開放詞彙方法。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。