超越骨干网络反向传播：一种高效迁移学习的解耦策略
提出了一种轻量级训练策略，通过解耦特征提取与分类器优化，大幅减少训练时间和能耗，在多种架构和医学数据集上仅牺牲微小的准确率。
近日，一篇题为《Beyond Backbone Backpropagation: A Decoupled Strategy for Efficient Transfer Learning》的论文在arXiv上提交，提出了一种新颖的轻量级迁移学习方法，旨在解决深度学习模型在图像分类任务中面临的计算成本和能耗挑战。传统迁移学习通常需要对整个骨干网络进行反向传播微调，计算开销巨大。而该研究提出了一种“解耦策略”，仅需适应模型的归一化层至新领域，并将特征提取与分类器优化完全分离。特征只需预计算一次，从而大幅减少重复计算。
为了进一步提升分类性能，研究团队设计了一种新的分类器头，采用基于边界的加权损失函数，即使在没有端到端反向传播的情况下，也能有效减少类别间的模糊性。该方法在四种卷积神经网络（ResNet18、ResNet50、MobileNet、DenseNet121）和三种Transformer模型（ViT、Swin、DeiT）上进行了评估，并使用三个医学图像数据集（脑癌MRI、BreakHis、PatchCamelyon）进行验证。
实验结果表明，提出的策略在显著缩短训练时间的同时，仅带来极小的精度损失，甚至在某些情况下超越了基线性能。这种效率提升直接转化为二氧化碳排放量的大幅降低，为资源受限的临床环境或快速原型开发提供了一种实用且环保的解决方案。该工作为可持续AI和边缘部署场景中的深度学习应用开辟了新路径。