自监督视觉表示学习：预训练微调还是联合训练？
一项新研究系统比较了自监督学习中的两种训练范式：预训练后微调（PFT）和联合训练（JT），发现JT在数据效率和低标签设置下表现更优，而PFT在专门领域更可靠。
自监督学习（SSL）通过利用未标注数据学习视觉表示，已成为计算机视觉领域的关键技术。传统方法通常采用两阶段流程：先在未标注数据上进行预训练，再在标注数据上进行微调（PFT）。然而，自监督和监督学习目标之间的相互作用尚未被充分理解。本研究由Nusrat Munia等人开展，旨在探索联合训练（JT）——即在同一个网络中同时优化自监督损失和监督损失——是否能提供更好的替代方案。
研究团队在八个代表性SSL方法（包括SimCLR、MoCo V2、BYOL、SwAV、DINO、SimSiam、Barlow Twins和VICReg）和多种计算机视觉任务上进行了系统实验，涵盖自然图像（ImageNet）、医学影像（Kather、Retina等）、危机响应（灾难图像分类）和遥感数据（卫星图像分类）。他们评估了不同标注数据比例（1%, 5%, 10%, 50%, 100%）下的性能，结果显示PFT和JT的相对有效性高度依赖于具体任务、标注数据的可用性以及领域的复杂度。具体而言，JT在低标签设置下表现出更强的鲁棒性，并持续提升数据和训练效率；而PFT在更专门化的领域中更为可靠。例如，在医学影像任务中，PFT往往优于JT，可能是因为医学标注数据质量较高且领域特征显著；而在自然图像中，JT在低标签比例下优势明显。
进一步的分析涉及表示质量（线性探测和KNN分类）、鲁棒性（对噪声和域偏移的抵抗）和跨领域泛化（使用不同数据源进行迁移学习）。研究表明，JT学习到的表示在低标签场景下更具判别性，而PFT在高标签场景下可能略优。此外，跨领域泛化实验表明，JT在从自然图像迁移到医学图像时表现更好，而PFT在领域内微调时更稳定。研究还发现，JT的收敛速度更快，且对超参数不太敏感。
该工作建立了一个混合SSL半监督学习的综合实证基准，并为不同视觉应用选择训练策略提供了实用指导。研究人员还发布了相关代码和数据（在GitHub上提供），以促进可重复性研究。该论文已提交至arXiv（编号2607.13192），并计划在后续会议中发表。研究还指出，未来的工作可以探索更高级的联合训练策略，如动态调整自监督和监督损失的权重。