近日，一篇題為《Beyond Backbone Backpropagation: A Decoupled Strategy for Efficient Transfer Learning》的論文在arXiv上提交，提出了一種新穎的輕量級遷移學習方法，旨在解決深度學習模型在影像分類任務中面臨的計算成本和能耗挑戰。傳統遷移學習通常需要對整個骨幹網路進行反向傳播微調，計算開銷巨大。而該研究提出了一種“解耦策略”，僅需適應模型的歸一化層至新領域，並將特徵提取與分類器最佳化完全分離。特徵只需預計算一次，從而大幅減少重複計算。
為了進一步提升分類效能，研究團隊設計了一種新的分類器頭，採用基於邊界的加權損失函式，即使在沒有端到端反向傳播的情況下，也能有效減少類別間的模糊性。該方法在四種卷積神經網路（ResNet18、ResNet50、MobileNet、DenseNet121）和三種Transformer模型（ViT、Swin、DeiT）上進行了評估，並使用三個醫學影像資料集（腦癌MRI、BreakHis、PatchCamelyon）進行驗證。
實驗結果表明，提出的策略在顯著縮短訓練時間的同時，僅帶來極小的精度損失，甚至在某些情況下超越了基線效能。這種效率提升直接轉化為二氧化碳排放量的大幅降低，為資源受限的臨床環境或快速原型開發提供了一種實用且環保的解決方案。該工作為可持續AI和邊緣部署場景中的深度學習應用開闢了新路徑。