arXiv於2026年7月28日釋出了一項名為TraceCLIP的研究，提出了一種無需訓練即可從預訓練視覺語言模型CLIP中恢復區域性語義資訊的創新框架。該框架的核心在於巧妙利用CLIP模型中的CLS（分類）標記注意力輸出，透過精確隔離每個影像補丁對CLS標記的特定貢獻，成功提取出原本被全域性表示所掩蓋的區域性語義證據。
傳統的CLIP模型透過大規模對比學習將影像和文本對映到共享的嵌入空間，但其影像級目標函式主要對齊文本與全域性表示，導致區域性視覺-語言對應關係僅受到間接約束。先前的方法要麼需要額外的監督訊號、外部模型或任務特定微調，要麼在不進行訓練的情況下僅從現有補丁特徵中恢復密集響應，未能深入探索CLIP內部區域性語義的可達性。TraceCLIP填補了這一空白。
該方法首先從CLS注意力輸出中分解出每個補丁的特定貢獻，從而獲得具有強區域性語義判別能力的貢獻特徵。這些貢獻特徵隨後被轉換為一個語義測地拓撲門（semantic-geodesic topology gate），用於校準最後一層補丁之間的親和度，進而用於密集特徵重構。實驗表明，這些貢獻特徵在文本條件下的空間對齊方面表現出色，能夠準確捕捉到與語言概念對應的區域性視覺區域。
在八個零樣本語義分割基準測試中，TraceCLIP在多種骨幹網路和背景設定下，平均交併比（mIoU）相較於先前最強的無需訓練方法提升了1.3至4.5個百分點。這一提升無需任何額外的訓練、外部視覺基礎模型或區域級監督，充分展示了其高效性和通用性。研究結果還表明，即使在全域性對齊的表示中，空間區域性化的語義資訊仍然可以透過內部構造被有效訪問，這為未來視覺語言模型的改進提供了新的思路。
TraceCLIP的發表標誌著無需訓練即可從CLIP中挖掘區域性語義資訊成為可能，有望在物件定位、區域識別和開放詞彙語義分割等密集視覺語言理解任務中發揮重要作用。