低空无人机视角下的指代分割任务要求模型依据复杂的语言描述与空间约束,从画面中找出特定目标。这类场景的难点在于目标往往尺寸很小、外观高度相似,背景与视角变化也更为剧烈。传统的全局推理方式有时会输出多个看似合理的掩码,或者让真正被指代的目标得不到足够的表征,从而产生歧义。针对这一问题,研究团队提出了DRA-SAM,一个由“指代分歧”驱动的框架,其核心思路是在全局推理之后,再针对性地分配一次局部推理,以化解候选之间以及“尚未确定”状态之间的竞争。
DRA-SAM的整体流程包含两个关键组件。首先是轻量级的EvidenceScorer,它负责对现有候选掩码以及“未决状态”给出置信度估计,形成对每个假设的信念分布。其次是无需训练的Referential Disagreement LOOK策略,该策略在信念加权的候选竞争与未决区域覆盖之间进行平衡,据此从原图中选出一个局部裁剪区域,交给同一个经过基准适配的SAM3-I骨干网络进行再推理。第二次推理产生的证据既会更新已有假设的置信度,也会引入新的候选,使最终结果更贴近语言描述所指的对象。
在实验部分,作者在RIS-LAD和UAVid-RIS两个低空无人机指代分割基准上进行了评测。与参与比较的方法相比,DRA-SAM在RIS-LAD和UAVid-RIS的七项测试指标中有六项取得当前最优,包括mIoU以及[email protected]到[email protected]系列指标;在RIS-LAD验证集上,七项指标全部领先。具体而言,在RIS-LAD上,DRA-SAM将匹配的全局SAM3-I基线从49.55 mIoU提升到52.34 mIoU,[email protected]从46.80提升到58.05。在UAVid-RIS上,独立适配的DRA-SAM取得73.26 mIoU和86.86 [email protected]。
消融分析进一步支撑了方法设计的有效性。受控的裁剪策略对比实验表明,由分歧引导的裁剪选择确实优于其他选择方式;而按目标尺寸进行的分析显示,对于在图像中占比不足1%的空中目标,性能提升尤为明显,这正好对应了低空无人机场景中最具挑战性的一类目标。作者据此认为,指代分歧可以作为分配局部推理资源的有效判据,为主动式分割与高效推理的结合提供了新的思路。论文共10页、含5幅图,代码已在GitHub上公开。