主动学习结合弱监督实现手术视频的高效标注
提出了一种结合主动学习和双损失优化的人机协同知识获取框架，用于腹腔镜视频中的器械分割标注。该方法利用基础模型生成时序一致的类激活图，通过弱监督损失和图像级掩膜损失训练，迭代提出伪掩膜引导专家修正。最终将标注工作量减少50%，无需初始密集像素标注，提升可扩展性。
精准的时空标注对于腹腔镜手术视频分析至关重要，但这一过程耗时且需要专业知识。近日，来自研究团队提出了一种创新的人机协同知识获取框架，旨在通过主动学习与弱监督策略，显著减少自动定位和分割手术视野中目标物体所需的标注工作量。该论文已被2026年IPCAI会议接收。
该方法的核心是结合主动学习与双损失优化。研究团队利用基础模型从视频中生成时序一致的类激活图（CAM），并采用两种互补的训练目标：一是基于视频级工具存在标签的弱监督损失，用于弱标注数据；二是通过主动学习获取的人工修正标注上的图像级掩膜损失。这种设计避免了传统方法要求预先提供密集像素级标注的缺陷。
整个工作流程以迭代方式运行：模型首先基于当前知识提出伪掩膜，这些伪掩膜被呈现给专家标注者，后者负责修正其中不准确的部分。专家只需修正伪掩膜，而非从头开始创建标注，从而大幅提高效率。修正后的标注被反馈给模型，用于下一轮的训练和伪掩膜生成。通过这种逐步精炼的过程，模型的知识逐步增强，同时所需的人工干预逐渐减少。
实验表明，与完全手动标注相比，该框架在训练结束时能将手术视频标注工作量减少50%。这一显著提升得益于主动学习的智能采样策略，它优先选择模型最不确定的样本交由专家处理，从而最大化专家输入的效用。同时，弱监督损失利用了视频级标签（如是否存在某种工具），这些标签相对容易获取，进一步降低了标注门槛。
该研究的另一重要贡献是消除了从一开始就需要大规模完全标注数据集的瓶颈。通过弱监督和主动学习的结合，模型能够在有限的专家输入下高效获取知识，为手术器械分割模型的可扩展开发铺平了道路。该方法支持将分割能力扩展到更大、更多样化的数据集，以及真实的临床环境，具有实际部署价值。研究团队还指出，该框架可以适配不同的基础模型，并适用于其他需要时空标注的医疗视频分析任务。