跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

DRA-SAM:面向低空无人机指代分割的分歧驱动指代主动SAM框架

文章摘要

DRA-SAM提出一种分歧驱动的两阶段推理框架,用于低空无人机影像中的指代分割。它通过轻量级EvidenceScorer评估候选掩码与未决状态的置信度,再用无需训练的指代分歧LOOK策略选择局部裁剪区域进行二次推理,从而改善小型、视觉相似目标的分割效果。在RIS-LAD和UAVid-RIS基准上,该方法在多数指标上达到当前最优,尤其对占图像面积不足1%的空中目标提升显著。

来源arXiv Computer Vision作者: Jisheng Dang, Huaiyuan Peng, Wencan Zhang, Bimei Wang, Jingwen Zhao, Wenjun Ma, Hong Peng, Bin Hu, Qi Tian, Tat-Seng Chua
DRA-SAM:面向低空无人机指代分割的分歧驱动指代主动SAM框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

低空无人机视角下的指代分割任务要求模型依据复杂的语言描述与空间约束,从画面中找出特定目标。这类场景的难点在于目标往往尺寸很小、外观高度相似,背景与视角变化也更为剧烈。传统的全局推理方式有时会输出多个看似合理的掩码,或者让真正被指代的目标得不到足够的表征,从而产生歧义。针对这一问题,研究团队提出了DRA-SAM,一个由“指代分歧”驱动的框架,其核心思路是在全局推理之后,再针对性地分配一次局部推理,以化解候选之间以及“尚未确定”状态之间的竞争。

DRA-SAM的整体流程包含两个关键组件。首先是轻量级的EvidenceScorer,它负责对现有候选掩码以及“未决状态”给出置信度估计,形成对每个假设的信念分布。其次是无需训练的Referential Disagreement LOOK策略,该策略在信念加权的候选竞争与未决区域覆盖之间进行平衡,据此从原图中选出一个局部裁剪区域,交给同一个经过基准适配的SAM3-I骨干网络进行再推理。第二次推理产生的证据既会更新已有假设的置信度,也会引入新的候选,使最终结果更贴近语言描述所指的对象。

在实验部分,作者在RIS-LAD和UAVid-RIS两个低空无人机指代分割基准上进行了评测。与参与比较的方法相比,DRA-SAM在RIS-LAD和UAVid-RIS的七项测试指标中有六项取得当前最优,包括mIoU以及[email protected]到[email protected]系列指标;在RIS-LAD验证集上,七项指标全部领先。具体而言,在RIS-LAD上,DRA-SAM将匹配的全局SAM3-I基线从49.55 mIoU提升到52.34 mIoU,[email protected]从46.80提升到58.05。在UAVid-RIS上,独立适配的DRA-SAM取得73.26 mIoU和86.86 [email protected]。

消融分析进一步支撑了方法设计的有效性。受控的裁剪策略对比实验表明,由分歧引导的裁剪选择确实优于其他选择方式;而按目标尺寸进行的分析显示,对于在图像中占比不足1%的空中目标,性能提升尤为明显,这正好对应了低空无人机场景中最具挑战性的一类目标。作者据此认为,指代分歧可以作为分配局部推理资源的有效判据,为主动式分割与高效推理的结合提供了新的思路。论文共10页、含5幅图,代码已在GitHub上公开。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出分歧驱动的局部再推理机制,根据候选假设竞争与未决区域覆盖选择裁剪区域
  • 无需额外训练即可集成到SAM3-I骨干网络,通过二次推理更新已有假设并引入新候选
  • 在RIS-LAD上mIoU从49.55提升至52.34,[email protected]从46.80提升至58.05
  • 对占图像面积不足1%的小型空中目标增益尤为明显

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。