示例说明：从图像集中推断视觉概念
视觉语言模型（VLM）能够遵循复杂的文本指令，但难以仅从视觉上下文中进行推理。新提出的视觉概念推断任务（VICIS）评估了这一能力。作者提出了一个训练框架和架构，学习从图像集中提取概念特定嵌入，从而提升生成准确性和对未见概念及模态的泛化能力。
苹果机器学习研究团队近日发布了一项新研究《Show Me Examples: Inferring Visual Concepts from Image Sets》（示例说明：从图像集中推断视觉概念）。该研究指出，尽管视觉语言模型（VLM）能理解复杂的文本指令，但在仅从视觉示例中推断共享概念方面表现不佳。为此，团队引入了视觉概念推断任务（VICIS），要求模型根据一组共享同一概念的图像和一个查询图像，生成保留该概念且与查询一致的新图像。
实验表明，现有最先进的VLM在该任务上表现差强人意，常常忽略视觉上下文或产生有偏见的输出。为弥补这一差距，作者提出了一种训练框架和架构，能够从图像集中学习推断视觉概念，并从查询中提取概念特定的嵌入。在合成数据和大规模ImageNet/WordNet数据上的实验显示，该模型生成的图像更准确、更多样化，并能泛化到未见概念及草图等模态。
该研究由LMU（路德维希-马克西米利安-慕尼黑大学）的Nick Stracke、Kolja Bauer、Apple的Josh Susskind、Miguel Angel Bautista Martin以及LMU的Björn Ommer共同完成。论文发表于2026年7月，相关代码和数据集可能后续公开。这一工作为提升VLM的视觉推理能力提供了新方向，有助于减少模型在缺乏文本指令时的偏见，并扩展了VLM在仅有视觉示例的场景下的应用潜力。