時尚檢索往往需要同時滿足類別、顏色、圖案和人群等多個約束。傳統模型將文本和影像編碼成一個整體嵌入向量,雖然能夠完成粗粒度匹配,卻難以在檢索時對某個具體屬性進行干預或除錯。另一類基於語義 ID 的方法雖然提供了離散的物品編碼,但這些編碼的最佳化目標通常是物品級別或殘差地址,沒有顯式構造出帶名稱、可獨立控制的屬性槽。
針對這一空白,Najmeh Forouzandehmehr 等人提出了 MM-slotgate 多模態槽編碼器。該方法以 Fashion-CLIP 為基礎,將文本和影像的嵌入分解為四個命名槽:類別、顏色、圖案和人群。每個槽都配有獨立的文本-影像門控,從而讓顏色、圖案這類偏視覺的屬性更多依賴影像證據,而類別、人群這類偏分類學的屬性保持文本驅動。這樣的設計讓模型在訓練時無需額外的模態標註,也能自動學會如何分配不同模態的權重。
在 H&M 資料集上,MM-slotgate 使用槽相似度與槽 logit 相結合的檢索分數,取得了 0.7566 的 macro ConstraintSatisfied@10,超過了等權重多模態融合的 0.7142 和 fCLIP 純文本檢索的 0.4755。其中提升最明顯的是顏色屬性,從 0.321 升至 0.889,絕對提升達 0.568。這一結果與學習到的顏色門控一致:顏色門控將 57.4% 的權重分配給了影像證據。更關鍵的是,這些門控在沒有模態監督的情況下仍然可解釋:顏色偏向影像,類別偏向文本,圖案和人群則介於兩者之間。
在可控性方面,線性探針實驗顯示,除標籤相關基線外沒有檢測到額外洩漏,說明槽編碼沒有混入多餘資訊。量化後的槽碼還支援定向干預,例如對顏色槽進行針對性調整可以帶來 15.3 倍的檢索提升。論文於 2026 年 8 月 12 日提交至 arXiv,編號 2608.12570,分類為 cs.CV 與 cs.IR。整體結果表明,可控時尚檢索更適合採用型別化、屬性條件的多模態槽,而不是單一全域性嵌入或不可解釋的物品級語義 ID。此外,門控權重本身還可作為模態可靠性的診斷工具,幫助研究人員發現訓練資料中文本與影像資訊是否失衡,併為後續將槽表示擴充套件到其他屬性、更大規模資料集或生成式模型提供了基礎。