视觉提示调优（Visual Prompt Tuning）作为一种参数高效的微调方法，近年来被广泛用于将大规模视觉Transformer（ViT）适配到下游任务。其核心思路是在输入空间或特征空间中引入少量可学习的提示令牌，与图像令牌一起参与Transformer各层的注意力计算。然而，一个基础却关键的问题长期被忽视：图像令牌与提示令牌之间应当如何融合？现有方案大多直接采用拼接或相加，但很少有工作系统研究单一融合方式是否最优，以及混合融合能否带来额外收益。
针对这一问题，来自Xi Xiao等作者、被ECCV 2026接收的论文《Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models》提出了一种基于可微架构搜索的解决方案。作者将融合方案的选择与提示参数的学习统一建模为一个双层优化问题：外层优化负责搜索每一层应采用何种融合操作，内层优化则更新可学习的提示。通过可微架构搜索，两类变量得以联合优化，从而自动发现层特定的融合策略。
为了扩大搜索空间，研究团队在传统的拼接（concatenation）和相加（addition）之外，额外引入了两种融合方案：仿射变换（affine transformation）和交叉注意力（cross-attention）。仿射变换能够对提示令牌进行逐通道的缩放与平移，从而更灵活地调制其特征；交叉注意力则允许图像令牌与提示令牌之间进行双向信息交互，而不仅仅是简单的堆叠或叠加。四种候选操作共同构成了更丰富的架构搜索空间，使得搜索过程能够根据每一层的语义特性选择最合适的融合方式。
实验验证覆盖了34个数据集，包括VTAB-1k、FGVC和HTA三大基准。在保持ViT骨干网络冻结的条件下，该方法在准确率、延迟和参数量之间取得了优于VPT-Deep及近期变体的权衡。一致性的性能提升表明，融合方式的选择对视觉提示调优的效果具有显著影响，而单一融合方案往往难以适应所有层。
论文进一步分析指出，混合融合策略能够更有效地利用ViT不同层的语义信息。浅层可能更受益于保持图像令牌与提示令牌的独立性（如拼接），而深层则可能更适合通过交叉注意力进行深度交互。这一发现为视觉提示调优研究提供了新的视角：提示融合不应被视为固定超参数，而应作为可学习的架构决策。该工作也展示了可微架构搜索在参数高效微调领域的应用潜力，为后续研究开辟了方向。