蘋果機器學習研究團隊近日釋出了一項新研究《Show Me Examples: Inferring Visual Concepts from Image Sets》（示例說明：從影像集中推斷視覺概念）。該研究指出，儘管視覺語言模型（VLM）能理解複雜的文本指令，但在僅從視覺示例中推斷共享概念方面表現不佳。為此，團隊引入了視覺概念推斷任務（VICIS），要求模型根據一組共享同一概念的影像和一個查詢影像，生成保留該概念且與查詢一致的新影像。
實驗表明，現有最先進的VLM在該任務上表現差強人意，常常忽略視覺上下文或產生有偏見的輸出。為彌補這一差距，作者提出了一種訓練框架和架構，能夠從影像集中學習推斷視覺概念，並從查詢中提取概念特定的嵌入。在合成資料和大規模ImageNet/WordNet資料上的實驗顯示，該模型生成的影像更準確、更多樣化，並能泛化到未見概念及草圖等模態。
該研究由LMU（路德維希-馬克西米利安-慕尼黑大學）的Nick Stracke、Kolja Bauer、Apple的Josh Susskind、Miguel Angel Bautista Martin以及LMU的Björn Ommer共同完成。論文發表於2026年7月，相關程式碼和資料集可能後續公開。這一工作為提升VLM的視覺推理能力提供了新方向，有助於減少模型在缺乏文本指令時的偏見，並擴充套件了VLM在僅有視覺示例的場景下的應用潛力。