U-CFR:不确定性引导的级联前向精炼用于交互式分割
U-CFR是一种新型交互式图像分割框架,通过在推理过程中自主生成内部伪点击来自我纠正,减少用户所需点击次数。该方法引入边界感知的不确定性分数,融合分割不确定性、轮廓梯度和显式边缘预测,引导伪点击放置在模糊边界区域。双头网络包括分割头和边缘头,通过级联精炼步骤逐步优化掩膜。在标准数据集上,U-CFR将挑战性数据集(如Berkeley)所需的点击次数减少10%以上。
U-CFR:不确定性引导的级联前向精炼用于交互式分割
交互式图像分割是计算机视觉领域的一项重要任务,旨在通过用户提供的点击等交互信号,快速准确地从图像中分割出目标对象。该技术在医学影像分析、卫星图像处理、自动驾驶感知以及图像编辑等场景中具有广泛的应用。然而,传统的交互式分割方法通常存在两个主要问题:一是需要用户提供大量且精确的纠正点击,尤其是在处理复杂边界或低对比度区域时;二是许多方法采用的被动精炼策略收敛缓慢,导致交互效率低下。为了解决这些挑战,来自科研机构的研究人员提出了一种全新的推理时框架——不确定性引导的级联前向精炼(Uncertainty-Guided Cascade Forward Refinement, U-CFR)。该框架的核心思想是让模型在每次用户交互后,能够自主评估当前分割结果的不确定性,并利用这些信息生成内部伪点击进行自我纠正,从而减少对人工纠正的依赖。
U-CFR的创新之处在于其精心设计的边界感知不确定性分数。该分数并非单一来源,而是综合考虑了分割不确定性(即模型对该区域预测的置信度)、轮廓梯度(反映图像边缘强度)以及显式的边缘预测结果。通过融合这三种互补信息,U-CFR能够准确定位那些最模糊的边界区域——这些区域往往是分割错误的高发地带。随后,系统会在这些不确定性最高的位置自动生成伪点击,作为后续精炼的强监督信号。这一过程完全自动化,无需用户介入,从而显著提升了交互效率。
为了支持上述机制,研究团队设计了一个双头网络架构。该网络包含一个共享的编码器-解码器骨干,以及两个功能明确的头部:分割头负责预测分割掩膜,确保区域内部的一致性;边缘头则专注于边界预测,以增强分割结果的边界对齐精度。在推理阶段,U-CFR采用级联精炼策略:每一步精炼中,首先根据当前掩膜计算不确定性分数并放置伪点击,然后将这些点击作为额外输入送入网络,得到更新后的掩膜。这一过程迭代进行多次,直至收敛。实验结果表明,经过三级级联精炼后,分割质量达到最优。
在标准基准数据集上的全面评估验证了U-CFR的有效性。在Berkeley分割数据集(BSDS500)上,与现有方法相比,U-CFR将所需的用户点击次数减少了超过10%,同时保持了更高的分割精度(如IOU指标)。在其他数据集如GrabCut和SBD上,U-CFR同样取得了领先性能。此外,该方法在初始掩膜质量和边界准确性方面也表现优异。这些成果表明,U-CFR不仅提升了交互效率,还改善了分割结果的细节质量。
该论文已被国际模式识别大会ICPR 2026接收。论文全文共12页,包含3张图表和4张表格,详细介绍了方法的设计原理、实验设置以及结果分析。研究人员表示,U-CFR为交互式分割提供了一种更智能、更高效的解决方案,未来将进一步探索其在视频分割和3D分割中的应用潜力。