通过语义锚点和空间仲裁的弱监督增量分割
本文提出SASA方法,一种漂移鲁棒的弱监督增量学习语义分割方法。通过可学习令牌的语义锚点保持长期语义身份,结合弹性残差适应实现实例级微调,并开发空间标签仲裁机制直接过滤不可靠信号,强制执行“一个对象,一个类别”约束。实验表明,SASA在多个标准基准上优于现有方法,尤其在多步增量设置中表现突出。
弱监督增量学习语义分割(WILSS)面临一个核心挑战:持续引入的噪声标注会逐步破坏类别级表征,导致严重的特征漂移和语义损坏,新学习的类别覆盖旧类别。为此,研究人员提出了名为SASA的漂移鲁棒方法,通过语义锚点和空间仲裁两个核心组件实现稳定学习。
在表征层面,SASA引入了可学习的语义锚点——一组作为刚性类别级参考的令牌。这些锚点像语义罗盘一样,确保模型在学习新类别时保留旧类别的核心语义特征。同时,弹性残差适应机制允许每个实例在锚点基础上进行受控调整,既维持全局语义稳定性,又保留实例特有细节。这种双重设计使得模型能够在不遗忘旧知识的前提下灵活适应新数据。
在监督层面,SASA开发了空间标签仲裁机制。该机制通过几何分析直接过滤不可靠的伪标签,并强制执行严格的“一个对象,一个类别”约束。这有效阻止了错误信号在增量步骤中累积,从而保护了类别边界。
实验在Pascal VOC等标准基准上进行,结果显示SASA在单步和多步增量设置中均超越了现有最佳方法,特别是在挑战性的多步场景中表现突出。该工作已被ICME 2026接收,代码已在GitHub开源。
SASA的创新之处在于将表征稳定性和监督可靠性有机结合。语义锚点作为长期记忆的载体,弹性残差则提供了短期适应的灵活性。空间仲裁机制进一步确保了弱监督信号的质量。这一整套方案有效缓解了增量学习中的灾难性遗忘问题,为弱监督条件下的持续学习提供了新思路。未来,该方法有望扩展到更多视觉任务,如实例分割和目标检测。