跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

语言指令视觉嵌入(LIVE):用语言引导视觉编码器实现可控且泛化的感知

文章摘要

arXiv 上的新论文提出 LIVE 方法,把语言当作高层指导信号,在推理时动态引导视觉编码器生成面向任务的嵌入,无需针对具体任务重新训练,从而减少视觉幻觉并提升跨任务泛化能力。

来源arXiv Computer Vision作者: Chengzhi Mao, Xudong Lin, Wen-Sheng Chu
语言指令视觉嵌入(LIVE):用语言引导视觉编码器实现可控且泛化的感知
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇题为《Language-Instructed Vision Embeddings for Controllable and Generalizable Perception》(面向可控与可泛化感知的语言指令视觉嵌入)的论文于2026年6月17日提交至arXiv,编号为arXiv:2606.19584,归类于计算机视觉与模式识别(cs.CV)领域,作者为Chengzhi Mao等三人,并已被ICLR 2026接收为会议论文。

论文指出,当前视觉基础模型通常被训练为静态特征提取器:模型一旦训练完成,其输出的视觉特征便是固定的,任务适配的负担则被转嫁给下游的大型模型。作者认为这一范式存在局限,并提出了一种替代思路——不再只是把视觉特征单向喂给语言模型,而是反过来利用语言本身去动态引导视觉编码器,使编码过程能够感知任务意图。

基于这一思路,研究团队提出了名为LIVE(Language-Instructed Vision Embeddings,语言指令视觉嵌入)的方法。该方法在推理阶段将语言作为高层级指导信号,引导视觉编码器生成面向具体任务的嵌入表示,从而无需针对每个任务重新训练模型。作者表示,这种机制使编码器能够聚焦于输入中与上下文真正相关的部分,最终得到更具可控性与泛化能力的表征。

在实验层面,论文给出了几项值得关注的结论:LIVE在MMVP基准上将视觉幻觉指标提升了34分;在视觉问答任务上,其表现超过了参数量高出数个数量级的视觉语言模型;同时,该方法还能泛化到训练中未见的指令和任务。作者据此认为,这条路线为构建自适应的、由指令驱动的视觉智能提供了直接路径。

从研究定位看,该工作试图改变视觉编码器与语言模型之间的协作方式:语言不再只是下游的输出接口或对齐目标,而是提前介入感知阶段,充当控制信号。论文的发布信息显示,全文以PDF及实验性HTML形式提供,DOI为10.48550/arXiv.2606.19584,由DataCite发放(注册尚待完成),提交体积约为18,421 KB。

展开要点与分析

文章情报

工程师进阶

要点

  • LIVE 用语言指令动态引导视觉编码器,而不是只把视觉特征送入语言模型。
  • 推理时即可生成以任务为中心的嵌入,省去任务专属的微调或重训练。
  • 在 MMVP 上视觉幻觉指标提升 34 分,并在视觉问答上超过参数量高出数个量级的视觉语言模型。
  • 方法能泛化到未见过的指令和任务,论文已被 ICLR 2026 收录。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。