ファッション検索では、カテゴリ、色、パターン、デモグラフィックといった複数の属性を同時に満たすことが求められます。従来の手法ではテキストと画像の情報を単一の埋め込みベクトルに混ぜ込むため、検索時に特定の属性だけを調整するのが困難でした。セマンティックIDを使う既存手法も、アイテム単位や残差アドレスとして最適化されることが多く、名前付きで独立に制御できる属性スロットを備えていません。
この問題に対して、Najmeh Forouzandehmehr氏ら4名の研究チームはMM-slotgateを提案しました。これはFashion-CLIPのテキスト埋め込みと画像埋め込みを、カテゴリ・色・パターン・デモグラフィックという4つの名前付き属性スロットに分解するマルチモーダルスロットエンコーダです。各スロットは独自のテキスト-画像ゲートを学習するため、色やパターンなどの視覚的属性は画像情報を重視し、カテゴリやデモグラフィックなどの分類学的属性はテキスト情報を重視できます。モダリティの教師ラベルなしで、これらのゲートが学習される点も特徴です。
H&Mデータセットでの実験では、スロット類似度とスロットロジットを組み合わせた検索スコアを用い、macro ConstraintSatisfied@10で0.7566を達成しました。これは等重みマルチモーダル融合の0.7142や、fCLIPのテキストのみの検索0.4755を上回ります。特に色では0.321から0.889へと、絶対値で+0.568の大幅な改善が見られました。学習された色ゲートが画像証拠に57.4%の重みを割り当てたことが主な要因です。さらに、ゲートはモダリティ教師なしでも解釈可能で、色は画像寄り、カテゴリはテキスト寄り、パターンとデモグラフィックは中間に位置しました。
制御可能性の検証では、線形プローブによってラベル相関ベースラインを超える過剰なリークは観測されず、量子化スロットコードを使った介入では色の検索性能が15.3倍向上しました。この論文は2026年8月12日にarXiv:2608.12570 [cs.CV]として提出され、コンピュータビジョンと情報検索の両分野に分類されています。著者らは、制御可能なファッション検索には単一のグローバル埋め込みや不透明なアイテム単位セマンティックIDではなく、型付きで属性条件付きのマルチモーダルスロットが有効だと結論づけています。