AI News HubLIVE
站内改写1 分钟阅读

需要多少标签?跨栖息地海洋物种识别的决策框架

该研究提出了一个决策框架,量化了在跨海洋栖息地迁移视觉系统时标注工作量与识别准确率之间的权衡。基准测试涵盖五个数据集、三大洋和三个分类群(鱼类、珊瑚、无脊椎动物)。研究发现,使用冻结的自监督基础模型(DINOv2)结合线性分类器,每个物种仅需10-20张标注图像即可在新站点实现可靠识别,将标注工作量减少约一个数量级。

来源arXiv Computer Vision作者: Alzayat Saleh, Mostafa Rahimi Azghadi

自动图像识别技术正越来越多地被用于扩展生态监测的规模,但生态学家们一直缺乏基于证据的指导,以了解在新站点部署可靠识别系统究竟需要多少标注工作。一项由Alzayat Saleh等人开展的新研究提出了一个决策框架,系统量化了在跨海洋栖息地迁移视觉系统时,标注工作量与识别准确率之间的权衡关系。

该研究的基准测试涵盖了五个数据集、三大洋和三个分类群(鱼类、珊瑚和无脊椎动物),地域范围从澳大利亚大堡礁和法属波利尼西亚的热带珊瑚礁,一直延伸到丹麦温带峡湾的冷水域。研究人员评估了四种识别模型(DINOv2、CLIP、ResNet-50和EfficientNet-B4)在四种适应策略(线性探测、LoRA、视觉提示调优和完全微调)下的表现,并采用了三种实验协议:跨20个礁点的栖息地内迁移(240次运行)、沿难度梯度进行的跨数据集地理迁移(40次运行),以及每类0到100个标注样本的少样本适应曲线(648次运行)。

实验结果表明,使用冻结的自监督基础特征(DINOv2配合线性分类器,仅包含1538个可训练参数)在未见过的礁点上的泛化能力,至少与那些参数规模大四个数量级的完全微调卷积基线模型相当。这些模型学习到了物种诊断性、栖息地不变的表征,而基线模型则编码了在新站点失效的栖息地特定捷径。令人振奋的是,每个物种仅需10到20张标注图像,就足以在新站点部署可靠的识别系统,这相当于将标注工作量削减了大约一个数量级。

该研究的解决方案指出,计划扩展到新站点的项目可以通过配对冻结的开放基础模型(DINOv2)和一个简单的线性分类器,并仅对每个物种标注10到20张图像(每个站点大约需要1到4小时),从而部署可靠的识别系统。该决策框架使项目能够根据跨站点、生态系统和平台的预期准确率来预算标注工作量,为海洋生态监测的大规模应用提供了实用指南。