跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

DRA-SAM:面向低空無人機指代分割的分歧驅動指代主動SAM框架

文章摘要

DRA-SAM提出一種分歧驅動的兩階段推理框架,用於低空無人機影像中的指代分割。它透過輕量級EvidenceScorer評估候選掩碼與未決狀態的置信度,再用無需訓練的指代分歧LOOK策略選擇區域性裁剪區域進行二次推理,從而改善小型、視覺相似目標的分割效果。在RIS-LAD和UAVid-RIS基準上,該方法在多數指標上達到當前最優,尤其對佔影像面積不足1%的空中目標提升顯著。

來源arXiv Computer Vision作者: Jisheng Dang, Huaiyuan Peng, Wencan Zhang, Bimei Wang, Jingwen Zhao, Wenjun Ma, Hong Peng, Bin Hu, Qi Tian, Tat-Seng Chua
DRA-SAM:面向低空無人機指代分割的分歧驅動指代主動SAM框架
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

低空無人機視角下的指代分割任務要求模型依據複雜的語言描述與空間約束,從畫面中找出特定目標。這類場景的難點在於目標往往尺寸很小、外觀高度相似,背景與視角變化也更為劇烈。傳統的全域性推理方式有時會輸出多個看似合理的掩碼,或者讓真正被指代的目標得不到足夠的表徵,從而產生歧義。針對這一問題,研究團隊提出了DRA-SAM,一個由“指代分歧”驅動的框架,其核心思路是在全域性推理之後,再針對性地分配一次區域性推理,以化解候選之間以及“尚未確定”狀態之間的競爭。

DRA-SAM的整體流程包含兩個關鍵元件。首先是輕量級的EvidenceScorer,它負責對現有候選掩碼以及“未決狀態”給出置信度估計,形成對每個假設的信念分佈。其次是無需訓練的Referential Disagreement LOOK策略,該策略在信念加權的候選競爭與未決區域覆蓋之間進行平衡,據此從原圖中選出一個區域性裁剪區域,交給同一個經過基準適配的SAM3-I骨幹網路進行再推理。第二次推理產生的證據既會更新已有假設的置信度,也會引入新的候選,使最終結果更貼近語言描述所指的物件。

在實驗部分,作者在RIS-LAD和UAVid-RIS兩個低空無人機指代分割基準上進行了評測。與參與比較的方法相比,DRA-SAM在RIS-LAD和UAVid-RIS的七項測試指標中有六項取得當前最優,包括mIoU以及[email protected]到[email protected]系列指標;在RIS-LAD驗證集上,七項指標全部領先。具體而言,在RIS-LAD上,DRA-SAM將匹配的全域性SAM3-I基線從49.55 mIoU提升到52.34 mIoU,[email protected]從46.80提升到58.05。在UAVid-RIS上,獨立適配的DRA-SAM取得73.26 mIoU和86.86 [email protected]。

消融分析進一步支撐了方法設計的有效性。受控的裁剪策略對比實驗表明,由分歧引導的裁剪選擇確實優於其他選擇方式;而按目標尺寸進行的分析顯示,對於在影像中佔比不足1%的空中目標,效能提升尤為明顯,這正好對應了低空無人機場景中最具挑戰性的一類目標。作者據此認為,指代分歧可以作為分配區域性推理資源的有效判據,為主動式分割與高效推理的結合提供了新的思路。論文共10頁、含5幅圖,程式碼已在GitHub上公開。

展開要點與分析

文章情報

工程師進階

要點

  • 提出分歧驅動的區域性再推理機制,根據候選假設競爭與未決區域覆蓋選擇裁剪區域
  • 無需額外訓練即可整合到SAM3-I骨幹網路,透過二次推理更新已有假設並引入新候選
  • 在RIS-LAD上mIoU從49.55提升至52.34,[email protected]從46.80提升至58.05
  • 對佔影像面積不足1%的小型空中目標增益尤為明顯

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。