合成資料在計算機視覺中應用廣泛,但現有流程通常隨機取樣生成器輸出空間,缺乏對下游模型真實需求的診斷。這種開環正規化將合成資料視為廉價真實資料,希望透過大量取樣覆蓋模型所有失效模式。然而,這未能充分利用合成資料的核心優勢:場景因子的可控獨立變化。本文作者Krisanu Sarkar提出了一種基於實驗設計(Design of Experiments, DoE)統計理論的新方法——合成設計實驗(Synthetic Designed Experiments for Representational Sufficiency, SDRS),旨在系統性地診斷和修復視覺模型的故障。
SDRS將下游模型視為黑箱系統,將合成生成器視為實驗裝置。透過採用部分因子設計(fractional factorial designs),該方法利用方差分析(ANOVA)分解高效審計模型對各個場景因子的敏感性。由此,故障被歸類為兩種可操作的型別:型別I缺口(覆蓋缺口,即模型在特定因子水平上訓練資料不足)和型別II缺口(虛假依賴性,即模型依賴與任務無關的虛假關聯)。審計完成後,SDRS會針對每種缺口型別開具資料處方,生成靶向合成資料以彌補缺陷。
作者透過三個實驗驗證了SDRS的有效性。第一個實驗在dSprites資料集上進行,透過植入人為偏差,審計正確識別了兩種缺口型別,靶向資料將準確率從49.9%提升至79.0%。第二個實驗針對程式化場景的密集分割任務,檢測到模型利用了背景複雜度的捷徑,應用靶向資料後平均交併比(mIoU)從0.948提升至0.998。第三個實驗展示了ANOVA審計能夠檢測不完美生成器中的跨因子汙染,驗證了方法的魯棒性。此外,研究發現每個因子的不變性懲罰可以將敏感性轉移到其他因子,這揭示了表示層面修正的一個開放問題。
該研究工作目前正在CVPR SynData4CV 2026審稿中,其方法論為合成資料的有效利用提供了全新視角,有望推動計算機視覺模型在可控環境下的故障診斷與魯棒性提升。