視覚プロンプトチューニング（Visual Prompt Tuning）は、大規模な視覚Transformer（ViT）を下流タスクに適応させるためのパラメータ効率の良い微調整手法として広く用いられている。この手法では、入力空間または特徴空間に少数の学習可能なプロンプトトークンを導入し、画像トークンと共にTransformerの各層のアテンション計算に参加させる。しかし、画像トークンとプロンプトトークンをどのように融合すべきかという基本的かつ重要な問題は、これまで十分に検討されてこなかった。既存の手法の多くは連結（concatenation）や加算（addition）をそのまま採用しているが、単一の融合方式が常に最適であるか、また混合融合が追加の利得をもたらすかは明らかではない。
この問題に対処するため、Xi XiaoらによるECCV 2026採択論文「Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models」は、微分可能アーキテクチャ検索に基づく解決策を提案する。著者らは融合方式の選択とプロンプトパラメータの学習を二レベル最適化問題として統一的に定式化する。外側の最適化は各層でどの融合操作を採用するかを探索し、内側の最適化は学習可能なプロンプトを更新する。微分可能アーキテクチャ検索により、両方の変数を同時に最適化し、層ごとの融合戦略を自動的に発見することが可能となる。
探索空間を拡大するため、研究チームは従来の連結と加算に加えて、アフィン変換（affine transformation）とクロスアテンション（cross-attention）という2つの融合方式を新たに導入した。アフィン変換はプロンプトトークルをチャネルごとにスケーリングおよびシフトすることで、その特徴をより柔軟に調整できる。クロスアテンションは画像トークンとプロンプトトークンの間で双方向の情報交換を可能にし、単純なスタッキングや加算以上の相互作用を実現する。これら4つの候補操作が豊富なアーキテクチャ探索空間を構成し、探索プロセスが各層の意味特性に応じて最適な融合方式を選択できるようにする。
実験はVTAB-1k、FGVC、HTAの3つのベンチマークを含む34のデータセットで実施された。ViTバックボーンを凍結した条件下で、本手法は精度、レイテンシ、パラメータ数の間でVPT-Deepや最近の変種よりも有利なトレードオフを実現する。一貫した性能向上は、融合方式の選択が視覚プロンプトチューニングの効果に大きな影響を与えることを示しており、単一の融合方式では全ての層に適応することが難しいことを明らかにしている。
さらに論文は、ハイブリッド融合戦略がViTの異なる層の意味情報をより有効に活用できることを指摘する。浅い層では画像トークンとプロンプトトークンの独立性を保つ連結が適している一方、深い層ではクロスアテンションによる深い相互作用がより適している可能性がある。この発見は視覚プロンプトチューニング研究に新たな視点を提供する。つまり、プロンプト融合は固定されたハイパーパラメータとしてではなく、学習可能なアーキテクチャ決定として扱うべきである。本研究は、パラメータ効率の良い微調整分野における微分可能アーキテクチャ検索の応用可能性も示しており、今後の研究の方向性を切り開くものである。