合成数据在计算机视觉中应用广泛，但现有流程通常随机采样生成器输出空间，缺乏对下游模型真实需求的诊断。这种开环范式将合成数据视为廉价真实数据，希望通过大量采样覆盖模型所有失效模式。然而，这未能充分利用合成数据的核心优势：场景因子的可控独立变化。本文作者Krisanu Sarkar提出了一种基于实验设计（Design of Experiments, DoE）统计理论的新方法——合成设计实验（Synthetic Designed Experiments for Representational Sufficiency, SDRS），旨在系统性地诊断和修复视觉模型的故障。
SDRS将下游模型视为黑箱系统，将合成生成器视为实验装置。通过采用部分因子设计（fractional factorial designs），该方法利用方差分析（ANOVA）分解高效审计模型对各个场景因子的敏感性。由此，故障被归类为两种可操作的类型：类型I缺口（覆盖缺口，即模型在特定因子水平上训练数据不足）和类型II缺口（虚假依赖性，即模型依赖与任务无关的虚假关联）。审计完成后，SDRS会针对每种缺口类型开具数据处方，生成靶向合成数据以弥补缺陷。
作者通过三个实验验证了SDRS的有效性。第一个实验在dSprites数据集上进行，通过植入人为偏差，审计正确识别了两种缺口类型，靶向数据将准确率从49.9%提升至79.0%。第二个实验针对程序化场景的密集分割任务，检测到模型利用了背景复杂度的捷径，应用靶向数据后平均交并比（mIoU）从0.948提升至0.998。第三个实验展示了ANOVA审计能够检测不完美生成器中的跨因子污染，验证了方法的鲁棒性。此外，研究发现每个因子的不变性惩罚可以将敏感性转移到其他因子，这揭示了表示层面修正的一个开放问题。
该研究工作目前正在CVPR SynData4CV 2026审稿中，其方法论为合成数据的有效利用提供了全新视角，有望推动计算机视觉模型在可控环境下的故障诊断与鲁棒性提升。