这篇题为《Language-Instructed Vision Embeddings for Controllable and Generalizable Perception》(面向可控与可泛化感知的语言指令视觉嵌入)的论文于2026年6月17日提交至arXiv,编号为arXiv:2606.19584,归类于计算机视觉与模式识别(cs.CV)领域,作者为Chengzhi Mao等三人,并已被ICLR 2026接收为会议论文。
论文指出,当前视觉基础模型通常被训练为静态特征提取器:模型一旦训练完成,其输出的视觉特征便是固定的,任务适配的负担则被转嫁给下游的大型模型。作者认为这一范式存在局限,并提出了一种替代思路——不再只是把视觉特征单向喂给语言模型,而是反过来利用语言本身去动态引导视觉编码器,使编码过程能够感知任务意图。
基于这一思路,研究团队提出了名为LIVE(Language-Instructed Vision Embeddings,语言指令视觉嵌入)的方法。该方法在推理阶段将语言作为高层级指导信号,引导视觉编码器生成面向具体任务的嵌入表示,从而无需针对每个任务重新训练模型。作者表示,这种机制使编码器能够聚焦于输入中与上下文真正相关的部分,最终得到更具可控性与泛化能力的表征。
在实验层面,论文给出了几项值得关注的结论:LIVE在MMVP基准上将视觉幻觉指标提升了34分;在视觉问答任务上,其表现超过了参数量高出数个数量级的视觉语言模型;同时,该方法还能泛化到训练中未见的指令和任务。作者据此认为,这条路线为构建自适应的、由指令驱动的视觉智能提供了直接路径。
从研究定位看,该工作试图改变视觉编码器与语言模型之间的协作方式:语言不再只是下游的输出接口或对齐目标,而是提前介入感知阶段,充当控制信号。论文的发布信息显示,全文以PDF及实验性HTML形式提供,DOI为10.48550/arXiv.2606.19584,由DataCite发放(注册尚待完成),提交体积约为18,421 KB。