arXivは2026年7月28日、TraceCLIPと題する新しい研究を公開しました。これは、事前学習済みの視覚言語モデルCLIPから局所的な意味情報を復元する訓練不要のフレームワークです。このフレームワークの核心は、CLIPモデルのCLS（分類）トークンのアテンション出力を利用し、各画像パッチがCLSトークンに与える寄与を分離することで、グローバル表現に隠された局所意味証拠を抽出することにあります。
従来のCLIPモデルは、コントラスト学習によって画像とテキストを共通の埋め込み空間に整列させますが、その画像レベルの目的関数は主にテキストとグローバル表現を整列させるため、局所的な視覚-言語対応は間接的にしか制約されませんでした。これまでの手法は、追加の教師信号や外部モデル、タスク固有の微調整を必要とするか、訓練を行わずに既存のパッチ特徴から密な応答を復元するもので、CLIP内部で局所意味論がどこで最もアクセスしやすくなるかを詳しく調べていませんでした。
TraceCLIPはこの問題を解決します。まず、CLSアテンション出力から各パッチの特定の寄与を分解し、強い局所意味識別能力を持つ寄与特徴を取得します。次に、これらの寄与特徴を意味測地線トポロジゲート（semantic-geodesic topology gate）に変換し、最終層のパッチ間親和性を調整して密な特徴再構成を可能にします。実験では、これらの寄与特徴がテキスト条件付きの空間的整列に優れていることが示されました。
8つのゼロショット意味セグメンテーションベンチマークにおいて、TraceCLIPは複数のバックボーンと背景設定で、従来の最強の訓練不要手法と比較して平均IoUが1.3～4.5ポイント向上しました。この改善には追加の訓練や外部視覚基盤モデル、領域レベルの教師信号は不要です。この結果は、グローバルに整列された表現の内部構造においても、空間的に局所化された意味論がアクセス可能であることを示唆しており、今後の視覚言語モデルの改善に新たな方向性を与えるものです。
TraceCLIPの登場により、訓練を必要とせずにCLIPから局所意味情報を引き出すことが可能となり、物体位置特定、領域認識、オープンボキャブラリ意味セグメンテーションなどの密な視覚言語理解タスクにおいて重要な役割を果たすことが期待されます。