视觉语言模型（VLM），如CLIP和SigLIP 2，在图像分类任务中得到广泛应用。然而，这类模型的视觉编码器容易受到系统性偏差的影响，严重削弱了其鲁棒性和泛化能力。其中，前景对象与背景之间的虚假相关是一类突出且实际重要的偏差。具体来说，模型可能依赖于背景特征来识别前景对象，而非真正的语义特征，导致在背景变化时性能显著下降。
来自Youssef Zaazou等人的最新研究重新审视了VLM嵌入空间的一个已知特性——高度线性可加性，并证明了该特性能够将场景表示自然地分解为前景和背景两个独立成分。这一发现为解耦背景信息提供了新的理论依据。基于此，研究人员提出了一种创新的预训练方法，通过利用合成数据显式地构建背景不变表示。
该方法的核心理念在于：利用VLM嵌入空间的线性结构，通过简单的向量运算分离出与任务无关的背景信息，从而使模型在训练过程中专注于前景对象的本质特征。实验结果显示，在Waterbirds数据集上，即使训练数据中存在100%的虚假相关（即所有训练样本中鸟类与背景完全关联，没有少数群体样本），该方法仍能实现超过90%的最差组准确率。这是首次在该极端设定下达到如此高的性能。
此外，该方法展现出强大的模拟到真实迁移能力，这意味着在合成数据上训练出的模型可以直接应用于真实世界场景，而无需访问任何真实世界的去偏数据。这一特性使其在实际部署中极具实用价值。相关论文发表于arXiv，共36页、包含7张图表，主题涵盖计算机视觉（cs.CV）和人工智能（cs.AI）两个领域。论文由Youssef Zaazou等作者于2026年5月11日提交。该工作为解决VLM中的虚假相关提供了一种简洁而高效的方案，有望推动该领域的进一步发展。