跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

DINO騰飛:DINOv3用於遙感影像開放詞彙語義分割

文章摘要

CAFe-DINO模型利用DINOv3骨幹網路,無需在遙感資料上微調即可實現開放詞彙語義分割,在重要遙感資料集上達到最先進效能。

來源arXiv Computer Vision作者: Ryan Faulkenberry, Saurabh Prasad
DINO騰飛:DINOv3用於遙感影像開放詞彙語義分割
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

遙感影像語義分割在環境監測、城市規劃、農業評估等領域具有廣泛應用,然而高質量的密集標註資料集獲取成本高昂,嚴重製約了監督學習方法的發展。近期,DINOv3模型在GEO-bench分割基準上超越了當前最先進的遙感基礎模型,且無需在遙感資料上進行預訓練,展示了強大的通用視覺表徵能力。與此同時,DINO.txt技術的出現使得基於DINOv3骨幹網路的開放詞彙語義分割(OVSS)成為可能,為遙感領域提供了新的解決方案。受此啟發,研究者提出了CAFe-DINO模型,這是一種完全無需遙感領域微調的OVSS模型。

CAFe-DINO(Cost Aggregation + Feature Upsampling with DINO)的核心創新在於透過成本聚合和無訓練的上取樣技術,充分利用DINOv3在遙感影像上的強大OVSS能力。具體而言,模型利用DINOv3骨幹網路的穩健潛在表示,避免了在遙感資料上微調的必要;作為替代,僅在COCO-Stuff資料集的遙感相關子集上進行微調。這種策略不僅保留了DINOv3在自然影像上學習到的通用視覺知識,還透過成本聚合機制有效提升了文本嵌入與影像特徵之間的對齊精度。無訓練的上取樣則透過簡單的插值操作,將粗糙的相似度分數圖對映到高解析度,從而生成精細的分割結果。

DINOv3是Meta AI研究團隊開發的自監督視覺變換器,在ImageNet等大規模資料集上預訓練後,能夠學習到豐富的語義特徵。在GEO-bench基準上,它無需任何遙感先驗知識就超越了專門設計的遙感基礎模型,表明通用視覺模型在遙感領域具有巨大潛力。CAFe-DINO正是基於這一發現,透過輕量級的適配層將DINOv3的能力遷移到語義分割任務中。實驗結果顯示,CAFe-DINO在ISPRS Potsdam和Vaihingen等關鍵遙感分割資料集上取得了最先進的效能,甚至優於那些在遙感資料上微調過的OVSS方法。這一成功證明了結合強大的視覺基礎模型與巧妙的零樣本適應策略,可以有效緩解遙感領域標註資料不足的問題。相關程式碼和資料已在GitHub上公開,研究已被2026年CVPR MORSE Workshop接收。

展開要點與分析

文章情報

工程師進階

要點

  • CAFe-DINO結合成本聚合與特徵上取樣,利用DINOv3的強開放詞彙分割能力。
  • 模型無需遙感領域微調,僅在COCO-Stuff的遙感子集上微調。
  • 在關鍵遙感分割資料集上超越現有開放詞彙方法。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。