自監督視覺表示學習：預訓練微調還是聯合訓練？
一項新研究系統比較了自監督學習中的兩種訓練正規化：預訓練後微調（PFT）和聯合訓練（JT），發現JT在資料效率和低標籤設定下表現更優，而PFT在專門領域更可靠。
自監督學習（SSL）透過利用未標註資料學習視覺表示，已成為計算機視覺領域的關鍵技術。傳統方法通常採用兩階段流程：先在未標註資料上進行預訓練，再在標註資料上進行微調（PFT）。然而，自監督和監督學習目標之間的相互作用尚未被充分理解。本研究由Nusrat Munia等人開展，旨在探索聯合訓練（JT）——即在同一個網路中同時最佳化自監督損失和監督損失——是否能提供更好的替代方案。
研究團隊在八個代表性SSL方法（包括SimCLR、MoCo V2、BYOL、SwAV、DINO、SimSiam、Barlow Twins和VICReg）和多種計算機視覺任務上進行了系統實驗，涵蓋自然影像（ImageNet）、醫學影像（Kather、Retina等）、危機響應（災難影像分類）和遙感資料（衛星影像分類）。他們評估了不同標註資料比例（1%, 5%, 10%, 50%, 100%）下的效能，結果顯示PFT和JT的相對有效性高度依賴於具體任務、標註資料的可用性以及領域的複雜度。具體而言，JT在低標籤設定下表現出更強的魯棒性，並持續提升資料和訓練效率；而PFT在更專門化的領域中更為可靠。例如，在醫學影像任務中，PFT往往優於JT，可能是因為醫學標註資料質量較高且領域特徵顯著；而在自然影像中，JT在低標籤比例下優勢明顯。
進一步的分析涉及表示質量（線性探測和KNN分類）、魯棒性（對噪聲和域偏移的抵抗）和跨領域泛化（使用不同資料來源進行遷移學習）。研究表明，JT學習到的表示在低標籤場景下更具判別性，而PFT在高標籤場景下可能略優。此外，跨領域泛化實驗表明，JT在從自然影像遷移到醫學影像時表現更好，而PFT在領域內微調時更穩定。研究還發現，JT的收斂速度更快，且對超引數不太敏感。
該工作建立了一個混合SSL半監督學習的綜合實證基準，併為不同視覺應用選擇訓練策略提供了實用指導。研究人員還發布了相關程式碼和資料（在GitHub上提供），以促進可重複性研究。該論文已提交至arXiv（編號2607.13192），並計劃在後續會議中發表。研究還指出，未來的工作可以探索更高階的聯合訓練策略，如動態調整自監督和監督損失的權重。