近年、深層学習モデルは画像分類において最先端の性能を達成していますが、計算コストとエネルギー消費の課題から、実運用への展開が難しい場合があります。arXivで公開された論文「Beyond Backbone Backpropagation: A Decoupled Strategy for Efficient Transfer Learning」では、これらの課題に対処するための軽量転移学習戦略が提案されています。提案手法は、モデルの正規化層のみを新しいドメインに適応させ、特徴抽出と分類器の最適化を完全に分離します。これにより、特徴は一度だけ事前計算され、計算オーバーヘッドが大幅に削減されます。
さらに、マージンベースの重み付き損失を備えた新しい分類器ヘッドが設計され、エンドツーエンドの逆伝播を必要とせずにクラスのあいまいさを低減します。このアプローチは、4つのCNNアーキテクチャ（ResNet18、ResNet50、MobileNet、DenseNet121）と3つのTransformerモデル（ViT、Swin、DeiT）で評価され、3つの医療データセット（脳がんMRI、BreakHis、PatchCamelyon）でテストされました。
実験結果から、提案戦略はトレーニング時間を大幅に短縮しながら、わずかな精度低下しか伴わず、多くの場合でベースライン性能と同等かそれを上回ることが示されました。この効率性はCO2排出量の桁違いの削減につながり、リソースが制約された臨床環境やプロトタイピング環境に実用的で環境持続可能なソリューションを提供します。この研究は、持続可能なAIとエッジコンピューティングへの応用に新たな可能性を開くものです。