近年來,生成模型在產生高質量合成影像方面取得了顯著進展,為資料匱乏的機器學習模型提供了豐富的訓練資源。然而,現有的利用這些合成資料的方法主要分為兩類:一是重新訓練或微調生成器本身,二是採用輕量級的後處理技術如提示工程或推理時引導。這些方法往往依賴於特定的生成器架構,並且需要大量的領域專業知識,限制了其通用性和易用性。
針對這一問題,來自某研究團隊(Disheng Liu等)提出了一種全新的後生成精選方法,旨在從固定的合成影像池中挑選出最具資訊價值的子集,從而提升下游任務的效能,而無需對生成器進行任何修改。該研究的核心洞察在於:現代生成模型存在一種結構性偏差,即它們傾向於過度產生每個類別的典型(規範)樣本,而忽略了類內的多樣性變化。例如,在生成“貓”的影像時,模型可能更頻繁地生成正面、清晰、標準姿態的貓,而相對較少生成側臥、跳躍等非典型姿態的貓。
基於這一洞察,研究人員提出了一種“同質-異質分割”策略。首先,對於每個真實類別,將其訓練資料劃分為兩個子集:同質(Homogeneous, HO)子集,包含該類別中最典型的樣本;異質(Heterogeneous, HE)子集,則包含非冗餘的、能體現類內變化的樣本。然後,對每一張合成影像,基於其與HO和HE子集的語義對齊程度進行評分,同時懲罰那些與HO子集中樣本過於相似的影像(即典型冗餘)。這一評分標準同時考慮了保真度(語義正確性)和多樣性(避免重複),從而選擇出資訊量最大的合成樣本。
該方法的優勢在於其生成器無關性,無需對生成網路進行任何重新訓練或微調,可直接應用於任何現有的合成資料池。在多個標準基準測試中,該方法顯著優於當前最先進的資料選擇基線,並且僅使用60%的合成樣本就能達到與使用全部真實資料相當的模型效能。更令人印象深刻的是,即使應用於經過任務調優的更強大生成器,該選擇標準仍然有效,在影像分類和語義分割任務中均帶來了進一步提升。
總之,這項研究表明,後生成精選不是替代更強大生成器的方法,而是一種互補的、實用的機制,能夠顯著提高合成資料的利用效率。對於在計算資源或真實資料獲取受限的場景下,該方法提供了一種低成本、高效率的改進途徑。