低空無人機視角下的指代分割任務要求模型依據複雜的語言描述與空間約束,從畫面中找出特定目標。這類場景的難點在於目標往往尺寸很小、外觀高度相似,背景與視角變化也更為劇烈。傳統的全局推理方式有時會輸出多個看似合理的掩碼,或者讓真正被指代的目標得不到足夠的表徵,從而產生歧義。針對這一問題,研究團隊提出了DRA-SAM,一個由“指代分歧”驅動的框架,其核心思路是在全局推理之後,再針對性地分配一次局部推理,以化解候選之間以及“尚未確定”狀態之間的競爭。
DRA-SAM的整體流程包含兩個關鍵組件。首先是輕量級的EvidenceScorer,它負責對現有候選掩碼以及“未決狀態”給出置信度估計,形成對每個假設的信念分佈。其次是無需訓練的Referential Disagreement LOOK策略,該策略在信念加權的候選競爭與未決區域覆蓋之間進行平衡,據此從原圖中選出一個局部裁剪區域,交給同一個經過基準適配的SAM3-I骨幹網絡進行再推理。第二次推理產生的證據既會更新已有假設的置信度,也會引入新的候選,使最終結果更貼近語言描述所指的對象。
在實驗部分,作者在RIS-LAD和UAVid-RIS兩個低空無人機指代分割基準上進行了評測。與參與比較的方法相比,DRA-SAM在RIS-LAD和UAVid-RIS的七項測試指標中有六項取得當前最優,包括mIoU以及[email protected]到[email protected]系列指標;在RIS-LAD驗證集上,七項指標全部領先。具體而言,在RIS-LAD上,DRA-SAM將匹配的全局SAM3-I基線從49.55 mIoU提升到52.34 mIoU,[email protected]從46.80提升到58.05。在UAVid-RIS上,獨立適配的DRA-SAM取得73.26 mIoU和86.86 [email protected]。
消融分析進一步支撐了方法設計的有效性。受控的裁剪策略對比實驗表明,由分歧引導的裁剪選擇確實優於其他選擇方式;而按目標尺寸進行的分析顯示,對於在圖像中佔比不足1%的空中目標,性能提升尤為明顯,這正好對應了低空無人機場景中最具挑戰性的一類目標。作者據此認為,指代分歧可以作為分配局部推理資源的有效判據,為主動式分割與高效推理的結合提供了新的思路。論文共10頁、含5幅圖,代碼已在GitHub上公開。