在合成数据被反复用于训练模型的今天，学界一方面看到了它缓解数据稀缺的潜力，另一方面也日益警惕所谓“模型崩溃”——即多轮递归训练不断侵蚀分布尾部、让输出趋于同质化的现象。此前的主流看法是，只要在训练流程中加入数据选择环节，用验证器筛掉低质量样本，就能有效遏制这一趋势。但一篇被 ICML 2026 接收的论文指出，这一思路存在一个常被忽视的前提：验证器必须拥有一个足够完整、足够代表性的参考分布。
论文作者、来自多个机构的研究团队（第一作者为 Xinbao Qiao，共七位作者）分析了“低资源验证”这一情形。在这种情形下，每个验证器只能观察到目标数据流形的一小块碎片，而且这块切片往往带有明显偏差。这种情况并非人为构造的极端假设，而是现实中的常态：医疗联盟希望利用各自的患者数据训练模型，但受隐私法规限制，原始数据无法集中；专有金融机构持有大量交易数据，同样无法与其他机构共享。在这些数据孤岛中，本地参考分布天然是不完整的。
作者指出，当验证器依据这种局部且有偏的参考分布进行筛选时，选择过程本身就会出现偏差。筛选器会倾向于保留与本地流形高度一致的样本，同时剔除那些虽然重要、但落在局部视野之外的全局尾部模式。换言之，原本被寄予厚望、用来对抗模型崩溃的数据选择机制，反而成了一种加速崩溃的力量。
研究团队从理论上证明了这一点：基于孤立、局部参考的选择会在递归训练中加快崩溃的发生，并使模型输出的多样性呈现幂律式衰减。这意味着多样性的流失不是缓慢线性发生的，而是在某些阶段急剧加速，进一步放大了低资源数据环境下的风险。
作为初步的缓解方案，作者提出构建跨多个数据孤岛的 Wasserstein 代理参考，而无需共享原始数据。通过这种方式，各孤岛可以在不泄露原始数据的前提下，获得一个更具全局代表性的参考分布。实验结果表明，基于局部参考的选择在偏斜分布上会失效，而协作式的代理参考则能有效缓解多样性的退化。
论文最终给出的建议是：当真实数据的覆盖范围碎片化或十分稀缺时，递归式的合成数据流水线需要格外谨慎。数据选择并不是万能的保险，它的可靠性取决于其背后的参考分布是否足够完整，而这一点恰恰是许多真实应用场景中最难保证的。该论文已被第 43 届国际机器学习大会（ICML 2026）接收，归类为人工智能方向。