近年、生成モデルは高品質な合成画像を生成できるようになり、データ不足の機械学習モデルにとって貴重な訓練リソースを提供している。しかし、既存の合成データ活用アプローチは、生成器自体の訓練や微調整、あるいはプロンプトエンジニアリングや推論時ガイダンスなどの軽量後処理に依存しており、これらは生成器固有で専門知識を要するため、汎用性や使いやすさに限界がある。
本研究では、これらの制約に対処するため、固定された合成画像プールから情報量の多いサブセットを選択するだけで下流タスクの性能を向上させることができるかという相補的な問題を研究している。著者らは、現代の生成器が構造的バイアスを持ち、各クラスの典型的なモードを過剰に生成し、クラス内変動を過小評価することを示した。例えば、「猫」の画像生成において、モデルは正面を向いた標準的な猫を多く生成する一方、横向きやジャンプなど非典型的な姿勢の猫を生成する頻度が低い。
この洞察に基づき、各実クラスを典型的な同質(Homogeneous, HO)サブセットと非冗長な異質(Heterogeneous, HE)サブセットに分割し、合成画像を忠実度と多様性の基準でスコアリングする手法を提案している。具体的には、合成画像がHOおよびHEサブセットと意味的にどの程度整合しているかを評価し、HOサブセット内のサンプルと類似しすぎる画像(典型的冗長)にはペナルティを与える。このスコアリング基準は、意味的正確性(忠実度)と重複回避(多様性)の両方を考慮し、最も情報量の多い合成サンプルを選択する。
本手法の最大の利点は生成器非依存であり、生成ネットワークの再訓練や微調整を一切必要とせず、既存の合成データプールに直接適用できる点にある。複数の標準ベンチマークにおいて、提案手法は最先端のデータ選択ベースラインを一貫して上回り、全実データを使用した場合と同等のモデル性能を、わずか60%の合成サンプルで達成した。さらに、タスクチューニング済みのより強力な生成器に適用しても有効であり、画像分類とセマンティックセグメンテーションの両方で改善が見られた。
以上の結果から、生成後選択はより優れた生成器の代替ではなく、合成データの有用性を高める相補的メカニズムであることが示された。計算資源や実データの入手が限られた環境において、本手法は低コストで高効率な改善手段を提供する。