合成數據在計算機視覺中應用廣泛，但現有流程通常隨機採樣生成器輸出空間，缺乏對下游模型真實需求的診斷。這種開環範式將合成數據視為廉價真實數據，希望通過大量採樣覆蓋模型所有失效模式。然而，這未能充分利用合成數據的核心優勢：場景因子的可控獨立變化。本文作者Krisanu Sarkar提出了一種基於實驗設計（Design of Experiments, DoE）統計理論的新方法——合成設計實驗（Synthetic Designed Experiments for Representational Sufficiency, SDRS），旨在系統性地診斷和修復視覺模型的故障。
SDRS將下游模型視為黑箱系統，將合成生成器視為實驗裝置。通過採用部分因子設計（fractional factorial designs），該方法利用方差分析（ANOVA）分解高效審計模型對各個場景因子的敏感性。由此，故障被歸類為兩種可操作的類型：類型I缺口（覆蓋缺口，即模型在特定因子水平上訓練數據不足）和類型II缺口（虛假依賴性，即模型依賴與任務無關的虛假關聯）。審計完成後，SDRS會針對每種缺口類型開具數據處方，生成靶向合成數據以彌補缺陷。
作者通過三個實驗驗證了SDRS的有效性。第一個實驗在dSprites數據集上進行，通過植入人為偏差，審計正確識別了兩種缺口類型，靶向數據將準確率從49.9%提升至79.0%。第二個實驗針對程序化場景的密集分割任務，檢測到模型利用了背景複雜度的捷徑，應用靶向數據後平均交併比（mIoU）從0.948提升至0.998。第三個實驗展示了ANOVA審計能夠檢測不完美生成器中的跨因子污染，驗證了方法的魯棒性。此外，研究發現每個因子的不變性懲罰可以將敏感性轉移到其他因子，這揭示了表示層面修正的一個開放問題。
該研究工作目前正在CVPR SynData4CV 2026審稿中，其方法論為合成數據的有效利用提供了全新視角，有望推動計算機視覺模型在可控環境下的故障診斷與魯棒性提升。