データの入手可能性は、多くの深層学習アプリケーションにおける重大なボトルネックであり続けている。大規模データセットの収集、キュレーション、アノテーションには多大なコストがかかるため、教師あり学習手法のスケーラビリティと適用範囲が制限されることが多い。この問題に対処するため、arXivに新たに公開された論文では、生成的深層学習によって合成画像データセットを生成し、それらで訓練した分類モデルの性能を評価している。
本研究の中心的な革新は、潜在拡散モデルをDINOv2、DINOv3、CLIPといった事前学習済みモデルが学習した表現で条件付ける点にある。従来のクラス条件付き生成とは異なり、この表現条件付き生成はより豊富な意味情報を捉えることができ、生成サンプルの品質とモードカバレッジを向上させる。
実験結果は、表現条件付き生成がクラス条件付き生成を大幅に上回ることを示している。ImageNet100データセットにおいて、前者で訓練したモデルのtop-1精度は10.76ポイント向上した。この顕著な改善は、生成画像の品質向上とモードの多様性増加により、合成データが実データの分布に近づいたことに起因する。
さらに印象的なのは、合成データセットの規模を拡大することで、実データで訓練したベースラインモデルさえも上回る性能を達成した点である。top-1精度は2.0ポイント高かった。これは、特に実データの入手が困難な領域において、合成データが実データセットを補完あるいは代替する可能性を示唆している。
直接的な訓練利用に加え、生成画像はデータ拡張にも活用できる。実験では、この拡張手法が従来の画像拡張手法よりも優れていることが示された。また、研究者らは条件空間を利用したサンプルフィルタリングにより、訓練データの価値をさらに高める方法も示している。低品質または冗長な合成サンプルを除外することで、最終モデルの性能を向上させることができる。
総じて、これらの知見は、表現条件付き拡散モデルが大規模視覚学習タスクにおいて実世界データセットを拡張、補完、あるいは潜在的に代替する有望なアプローチであることを強調している。この手法はデータ不足問題に対する有望な解決策を提供し、深層学習のさらなる応用を促進する可能性がある。