視覺語言模型（VLM），如CLIP和SigLIP 2，在圖像分類任務中得到廣泛應用。然而，這類模型的視覺編碼器容易受到系統性偏差的影響，嚴重削弱了其魯棒性和泛化能力。其中，前景對象與背景之間的虛假相關是一類突出且實際重要的偏差。具體來説，模型可能依賴於背景特徵來識別前景對象，而非真正的語義特徵，導致在背景變化時性能顯著下降。
來自Youssef Zaazou等人的最新研究重新審視了VLM嵌入空間的一個已知特性——高度線性可加性，並證明了該特性能夠將場景表示自然地分解為前景和背景兩個獨立成分。這一發現為解耦背景信息提供了新的理論依據。基於此，研究人員提出了一種創新的預訓練方法，通過利用合成數據顯式地構建背景不變表示。
該方法的核心理念在於：利用VLM嵌入空間的線性結構，通過簡單的向量運算分離出與任務無關的背景信息，從而使模型在訓練過程中專注於前景對象的本質特徵。實驗結果顯示，在Waterbirds數據集上，即使訓練數據中存在100%的虛假相關（即所有訓練樣本中鳥類與背景完全關聯，沒有少數羣體樣本），該方法仍能實現超過90%的最差組準確率。這是首次在該極端設定下達到如此高的性能。
此外，該方法展現出強大的模擬到真實遷移能力，這意味着在合成數據上訓練出的模型可以直接應用於真實世界場景，而無需訪問任何真實世界的去偏數據。這一特性使其在實際部署中極具實用價值。相關論文發表於arXiv，共36頁、包含7張圖表，主題涵蓋計算機視覺（cs.CV）和人工智能（cs.AI）兩個領域。論文由Youssef Zaazou等作者於2026年5月11日提交。該工作為解決VLM中的虛假相關提供了一種簡潔而高效的方案，有望推動該領域的進一步發展。