自己教師あり視覚表現学習：事前学習・ファインチューニングか、それとも同時学習か？

自己教師あり学習（SSL）は、ラベルなしデータから視覚表現を学習する強力な手法であり、コンピュータビジョンにおいて重要な技術となっています。従来の手法は主に、ラベルなしデータでの事前学習と、その後のラベル付きデータでのファインチューニング（PFT）という2段階アプローチを採用しています。しかし、自己教師ありと教師あり学習目標の間の相互作用は十分に理解されていません。本研究では、Nusrat Muniaらが、同一ネットワーク内で自己教師あり損失と教師あり損失を同時に最適化する同時学習（JT）がより良い代替案となるかどうかを系統的に調査しました。

研究チームは、SimCLR、MoCo V2、BYOL、SwAV、DINO、SimSiam、Barlow Twins、VICRegの8つの代表的なSSL手法と、自然画像（ImageNet）、医療画像（Kather、Retina）、危機対応（災害画像分類）、リモートセンシング（衛星画像分類）を含む多様なコンピュータビジョンタスクにおいて実験を行いました。ラベル付きデータの割合（1%, 5%, 10%, 50%, 100%）を変えて性能を評価した結果、PFTとJTの相対的な有効性は、タスク、ラベルデータの利用可能性、ドメインの複雑さに強く依存することが明らかになりました。JTは低ラベル設定で頑健であり、データとトレーニング効率を一貫して向上させる一方、PFTはより専門的なドメイン（例えば医療画像）で信頼性が高いことが分かりました。

さらに、表現品質（線形プローブとKNN分類）、ロバスト性（ノイズやドメインシフトへの耐性）、ドメイン間汎化（異なるデータソース間の転移学習）に関する分析を行い、自己教師ありと教師ありの目的が最適化中にどのように相互作用するかについて新たな知見を提供しました。JTは低ラベルシナリオでより識別的な表現を学習する一方、PFTは高ラベルシナリオでやや優れる可能性があります。また、JTは自然画像から医療画像への転移で優れた性能を示し、PFTはドメイン内での微調整でより安定していました。研究では、JTの収束が速く、ハイパーパラメータへの敏感性が低いことも明らかになりました。

この研究は、ハイブリッドSSLベースの半教師あり学習の包括的な経験的ベンチマークを確立し、多様な視覚アプリケーションに適したトレーニング戦略を選択するための実践的なガイダンスを提供します。コードとデータはGitHubで公開されており、再現性を促進します。本論文はarXiv（ID: 2607.13192）に投稿され、今後の会議での発表が予定されています。将来的には、自己教師あり損失と教師あり損失の重みを動的に調整するような高度な同時学習戦略の探求が期待されます。